La Guía ALNAP para la evaluación de la acción humanitaria con 
los criterios del CAD-OCDE proporciona el marco para una 
evaluación exhaustiva basada en estos siete criterios. La Guía 
ofrece para cada uno de ellos una definición clara, sus 
implicaciones, los factores que deben tenerse en cuenta y las 
buenas prácticas que deben seguirse, ilustrándolos en todos los 
casos con excelentes ejemplos. 


La Guía hace hincapié en los resultados y propone a los 
evaluadores que documenten las malas prácticas que 
encuentren y destaquen las buenas y cómo imitarlas. También 
aborda la cuestión crucial de si una evaluación debe destacar la 
rendición de cuentas frente a las lecciones aprendidas, o si bien 
hacer una mezcla de ambas cosas. 


Por su alto nivel, la Guía no solo contribuye a la evaluación de la 
ayuda humanitaria, sino que puede aplicarse al campo de la 
evaluación en general. 


Michael Quinn Patton 
Utilization-Focused Evaluation 
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Prólogo 


La Review of Humanitarian Action de ALNAP ha realizado un seguimiento 
sobre la calidad de las evaluaciones de la acción humanitaria durante los 
últimos cinco años. La buena noticia es que las evaluaciones se han ido 
integrando en el sector humanitario. La no tan buena es que su calidad 
todavía deja mucho que desear. El desarrollo de mejores evaluaciones no es 
tan solo un fin en sí mismo: las de alta calidad deberían tener un efecto 
positivo en la mejora del conocimiento, la responsabilidad y el buen 
funcionamiento del sector. 


Cuando se puso en marcha la Evaluación Conjunta de la Ayuda de 
Emergencia a Ruanda en 1995 no se disponía de manuales ni de 
procedimientos o ejemplos de buenas prácticas en los que apoyamos a la hora 
de evaluar la acción humanitaria. Desde entonces se ha publicado material de 
gran ayuda, especialmente Hvaluating Humanitarian Assistance Programmes 
in Complex Emergencies (Hallam,1998) y Guidance for Evaluating 
Humanitarian Assistance in Complex Fmergencies (OECD-DAC, 1999). 


El primero de estos textos se dirigía a los evaluadores, mientras que el 
segundo estaba destinado a las agencias que encargan las evaluaciones. Esta 
nueva guía de ALNAP se basa en los logros de ambas publicaciones y ofrece 
un marco diseñado para ayudar a interpretar los criterios fundamentales del 
CAD en el contexto especificamente humanitario. Será de ayuda tanto para los 
evaluadores como para los gestores de la evaluación. 


Los equipos de evaluación en el terreno han realizado pruebas con borradores 
de esta guía, y las lecciones prácticas aprendidas de esas experiencias se han 
incorporado en la versión final. Creo que este proceso ha ayudado a crear una 
guía de fácil manejo que será una excelente herramienta para los diseñadores 
de evaluaciones y para los equipos en el terreno. 














Junto con otras actividades para mejorar las evaluaciones, como la 
metaevaluación de ALNAP y los módulos de formación para la evaluación de 
ALNAP, esta guía muestra lo que ha avanzado la comunidad de evaluadores 
para lograr una mayor calidad de las evaluaciones como medio para mejorar 
los resultados de la acción humanitaria. Junto a otras recientes iniciativas de 
calidad y estándares de evaluación llevados a cabo por el CAD y por la ONU, 
existe una buena base para esperar mejoras adicionales en el futuro. 


Niels Dabelstein 
Director del Departamento de Evaluación 
Danida 
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sección uno 


Objetivo y uso de esta guía 








1.1 Antecedentes 





Esta guía se desarrolló tras los debates mantenidos por la comunidad de 
evaluadores, y en ALNAP en particular, acerca de cómo fortalecer la práctica 
de la evaluación humanitaria y de cómo promover el uso más efectivo de los 
criterios de evaluación del Comité de Ayuda al Desarrollo. Actualmente los 
criterios de evaluación del CAD se encuentran en el mismo centro de la 
Evaluación de la Acción Humanitaria (EAH), incluidos en las propias 
evaluaciones y como parte de las guías para las agencias. No obstante, hay 
varios criterios que no se han comprendido bien; su uso es a menudo 
mecánico y excluye procesos de evaluación más creativos. 
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El objetivo de esta guía es el de proporcionar un apoyo práctico respecto a 
cómo utilizar los criterios del CAD en EAH. Para no desviarse, la guía no 
incluye demasiados detalles sobre cuestiones más amplias como la gestión de 
las evaluaciones, la selección de metodologías o las diferentes maneras de 
abordar las evaluaciones. De hecho, la guía no pretende aportar detalles 
exhaustivos sobre los criterios del CAD, sino más bien proporcionar una 
introducción al lector, para que este pueda seguir adelante en función de sus 
necesidades. 


La guía utiliza material referente a ejemplos de buenas prácticas de evaluación 
y de EAH, incluyendo otras guías y manuales (ver bibliografía más adelante). 
La intención fue la de elaborar a partir del material ya existente en vez de 
duplicarlo. También se beneficia de la experiencia de un cuestionario realizado 
por 25 miembros plenos de ALNAP y del trabajo del autor en la Review of 
Humanitarian Action de ALNAP. 


ALNAP puso a prueba versiones anteriores de la guía durante tres 
evaluaciones humanitarias en 2004: Sierra Leona/Guinea, Zimbabwe y Sri 
Lanka, siendo el autor miembro del equipo de evaluación en este último país. 
Aunque esto alargó el proceso de elaboración de la guía un año, también 
significó que se pudo poner en práctica en el terreno, y que las valiosas 
observaciones de los usuarios se han incluido en la versión final. 


1.2 Usuarios para los que se ha escrito 
esta guía 


Esta guía está dirigida principalmente a: 


"= evaluadores de la acción humanitaria, 
= miembros de las agencias dedicados al diseño y gestión de EAH, 
" participantes en cursos de formación sobre HAH. 


Otros destinatarios serían los responsables de desarrollar el diseño de políticas 
y programas, así como los que se dedican a gestionarlos. Estos grupos han 
expresado la necesidad de una mejor comprensión de los criterios que se 
deben utilizar para evaluar las intervenciones. Estos intereses se han tenido en 
consideración principalmente mediante debates sobre la relación entre la 
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utilización del EML (Enfoque del Marco Lógico) y los criterios del CAD (ver 
más adelante en la Sección 3). 


1.3 Estructura de la guía 


= Con el fin de aportar un contexto general, la Sección 2 se centra en temas 
clave y Cuestiones recientes de la EH AH, en especial los relacionados con el 
aprendizaje a partir de la experiencia (lessons learning o lecciones 
aprendidas) y la rendición de cuentas, así como los referentes al uso de las 
evaluaciones. 


= Para cada uno de los siete criterios del CAD, la Sección 3 proporciona una 
definición, una explicación de la definición, cuestiones que deben tenerse en 
cuenta, mensajes clave, así como un par de ejemplos de buenas prácticas 
que pretenden aportar indicaciones y sugerencias sobre cómo utilizar cada 
criterio. 


= La Sección 4 proporciona unas guías de orientación para la utilización 
correcta de los métodos de evaluación de la acción humanitaria, incluidas a 
petición de varios evaluadores que aplicaron por primera vez esta guía. 


Aunque se ha decidido mantener que la presente guía se centre 
fundamentalmente en los criterios del CAD, se han incluido, en forma de 
anexos, algunas instrucciones para ciertas áreas, en respuesta a las peticiones 
de diversos revisores y de los evaluadores que realizaron las primeras pruebas 
de la guía. 


= El Anexo 1 examina la pertinencia del conjunto de normas de evaluación 
más utilizadas con respecto a la EAH (normas del JCSEE, Joint Committee 
on Standards for Educational Evaluation). 


= El Anexo 2 hace hincapié en ocho de los principales temas transversales que 
deberían incluirse al utilizar los criterios del CAD. 
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sección dos 


Algunas ideas sobre la EAH 








2.1 ¿En qué consiste la evaluación de la 
acción humanitaria? 


Esta guía se basa en la definición de ALNAP que se indica en el Cuadro 2. Las 
definiciones relacionadas con la acción humanitaria tienden a enfatizar que las 
evaluaciones son ejercicios objetivos e imparciales con la intención de promover 
la rendición de cuentas así como el aprendizaje a partir de la experiencia. Esta 
guía pretende servir de apoyo para la mayoría de los tipos de evaluaciones. 








1 Al adoptar esta definición hubo un considerable debate entre los miembros plenos de ALNAP 
acerca de la capacidad potencial de las evaluaciones para ser imparciales. La cuestión de hasta 
dónde los evaluadores pueden o deben separar su propia perspectiva del proceso de evaluación 
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2.2 ¿Qué tiene de especial la evaluación de 
la acción humanitaria? 


La evaluación de la acción humanitaria es simplemente un tipo de evaluación, 
pero tiene características distintivas. Estas deben tenerse en cuenta a la hora 
de planificar el manejo de los criterios del CAD. 


Con frecuencia las evaluaciones humanitarias se realizan en períodos de 
desórdenes graves, que en el caso de las emergencias complejas pueden 
prolongarse. El acceso a los informantes principales puede ser difícil. 


= Los conflictos polarizan las perspectivas de tal modo que los mismos 
acontecimientos sufren frecuentemente interpretaciones dispares, 
reduciendo el espacio para una evaluación objetiva. 


= La obtención de información y de datos se puede complicar: por ejemplo, 
existe una alta rotación entre el personal que trabaja en la acción 
humanitaria, lo cual puede dificultar la labor de los evaluadores a la hora de 
entrevistar a informadores clave. 


= La acción humanitaria, por su propia naturaleza, suele planificarse con 
premura, por lo que los documentos de planificación pueden carecer de 
datos e indicadores objetivos. 


= La acción humanitaria se realiza en condiciones adversas que generan 
súbitos cambios en las circunstancias, de forma que el contexto en que 
puede derivar resulta difícil de prever y algunas hipótesis sobre lo que son 
condiciones sociales o físicas normales pueden dejar de ser justificables 
rápidamente. 


Por todas estas limitaciones, al terminar un informe de evaluación los 
evaluadores deben aclarar a qué limitaciones se han enfrentado y de qué 
modo han podido afectar al proceso de evaluación y a sus conclusiones. 


es uno de los temas más importantes en el debate sobre la praxis de las evaluaciones. Esta guía 
no puede cubrir este tema en detalle, pero aquellos lectores que estén interesados pueden 
dirigirse a House (2004), Lackey et al. (1997) y Shulha y Cousins (1997). 
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2.3 El uso de los resultados de las evaluacio- 
nes 


Desde hace un tiempo ha sido motivo de preocupación por parte de los 
responsables de las evaluaciones que los resultados y las recomendaciones de 
las evaluaciones no se utilicen. La planificación de las evaluaciones debería 
prestar mayor atención a su uso final, así como a los que van a utilizar los 
resultados de la evaluación, para planificar en consecuencia.?2 


Veamos tres áreas que habría que considerar respecto a la utilización de las 
evaluaciones y a la aplicación de los criterios del CAD: 


1 ¿Qué cantidad y qué tipo de información necesitan los usuarios potenciales? 
¿Cada criterio debería tener idéntica atención o existe algún tipo de 
información más útil que otro? Por ejemplo, algunas evaluaciones recientes 
de acción humanitaria se han centrado en los desplazados internos (DD), en 
cuyo caso los resultados en relación con la cobertura han sido especialmente 
importantes en estas evaluaciones. 


2 ¿En qué momento es más útil la información? Por ejemplo, la información 
sobre efectividad y eficiencia puede ser de mayor utilidad para futuras 
intervenciones. 


3 ¿Pueden aprovechar los evaluadores las conversaciones sobre los términos 


de referencia, incluyendo los criterios del CAD, para suscitar el tema del uso 
de la evaluación? 


2 Para más información, ver el Anexo 1 más adelante, Banco Mundial (2004) y Henry (2003). 
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sección tres 


Trabajar con los criterios del CAD 








3 Trabajar con los criterios del CAD 


Esta sección esboza cómo deben utilizarse los criterios del CAD de forma 
efectiva en la práctica de las evaluaciones. Para cada criterio se aporta lo 
siguiente: 


= una definición; 
= una explicación de la definición; 


= Cuestiones que hay que tener en cuenta con respecto a la utilización de los 
criterios, incluyendo áreas potencialmente problemáticas; 


= mensajes clave; 


= ejemplos de buenas prácticas seleccionados entre diferentes países, 
agencias, sectores, desastres naturales y emergencias complejas (véanse 
más detalles de estos estudios de caso, incluyendo en muchas ocasiones los 
informes completos, en la Base de Datos de Evaluaciones del sitio internet 


de ALNAP, http://www.alnap.ota). 


La Tabla 1 proporciona un resumen de los criterios del CAD para consulta rápida. 
Al utilizar los criterios del CAD deberían tenerse en cuenta los siguientes puntos: 


Utilización de los criterios de forma combinada: Los criterios del CAD se han 
diseñado para promover la evaluación exhaustiva de la acción humanitaria. Por 
ese motivo, los criterios son complementarios. Por ejemplo, la utilización del 
criterio de eficacia podría demostrar que los objetivos han sido alcanzados, pero 
esto no quiere decir necesariamente que los objetivos se adecuen a toda la 
población afectada, ni que se hayan alcanzado con eficiencia, de forma 
sostenible o con un impacto positivo. De igual forma, puede que la intervención 
de una agencia haya tenido buena cobertura, pero no haya sido coordinada con 
otras intervenciones. La utilización de los criterios del CAD de forma 
combinada garantiza que se cubran todas las áreas de la intervención evaluada. 
Es probable que entre las áreas cubiertas por estos criterios se produzca un 
solapamiento, por lo que los evaluadores pueden encontrar la misma 
información bajo diferentes criterios del CAD. La decisión de dónde incluir la 
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información no es tan importante como el hecho de que la evaluación se realice 
de forma exhaustiva, utilizando todos los criterios que sean pertinentes. 


Utilización de los criterios para determinar los factores críticos de éxito: Hasta 
la fecha, la utilización de los criterios del CAD ha tendido a priorizar los 
resultados por encima de los procesos: por ejemplo, cuánta población ha sido 
alimentada, más que los motivos por los cuales la ayuda alimentaria ha sido o 
no un éxito. El caso es que no hay nada inherente a los criterios para que los 
evaluadores dejen de preguntarse por qué: ¿por qué fue eficaz el 
proyecto/programa?, ¿por qué fue eficiente o no?, y así sucesivamente. 
Utilizando los criterios de esta forma, se incrementará el aprendizaje a partir de 
las experiencias. Por lo tanto, los evaluadores deben preguntarse tanto qué es 
lo que ha sucedido como el porqué ha sucedido. 


Cuándo deben utilizarse los criterios: Los responsables de la evaluación y los 
propios evaluadores deben determinar si la utilización de todos los criterios es 
pertinente. El hecho de que los criterios se formularan para la evaluación de 
proyectos o programas hace que algunos de estos criterios del CAD sean 
menos pertinentes para las evaluaciones institucionales o para las orientadas a 
la formulación de políticas. Por ejemplo, la coherencia puede ser menos 
relevante para evaluar intervenciones de una sola agencia o de un solo 
proyecto, como sería el caso de un proyecto hídrico aislado. 


¿Hay información disponible?: Para evaluar una intervención según los criterios 
del CAD, es conveniente contar con objetivos cuantificables, datos como punto 
de referencia, así como medidas de resultados, aunque suela ocurrir que no 
existan o que sean parciales. En tal caso, si la información es inadecuada, los 
evaluadores tendrán que obtenerlos a partir de las pruebas que estén a su 
alcance como, por ejemplo, a través de entrevistas a actores clave, o de 
técnicas de historia oral. Como se puede observar más atrás en la Sección 2.3, 
la clave está en señalar las dificultades para que la práctica de la evaluación 
sea transparente, de tal forma que el lector pueda evaluar la credibilidad de los 
métodos empleados y de los resultados que se deriven de estos.3 


Temas transversales: Hay ocho temas transversales que deberían considerarse 
a la hora de utilizar los criterios del CAD: el contexto local, los recursos 
humanos, la protección, la participación de los actores primarios, ! las 


? Para técnicas de historia oral, ver Thompson (2000). Para técnicas de participación en la acción 
humanitaria, ver ALNAP (2003). 

1 Los actores primarios, también conocidos como beneficiarios, son los destinatarios del apoyo y 
la ayuda. 
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estrategias para hacer frente a las dificultades y resistencia, la igualdad de 
género, el VIH/SIDA y el medio ambiente. Se presta especial atención a estos 
temas en la argumentación que se realiza a continuación para cada uno de los 
criterios. No todas las evaluaciones precisan incluir todos los temas 
transversales, pero si hay alguno que deba excluirse, deben justificarse los 
motivos. Para más información sobre los temas transversales, ver el Anexo 2. 


Los criterios del CAD y el marco lógico: El marco lógico es en la actualidad la 
herramienta de planificación más común en la ayuda al desarrollo, y su uso se 
ha extendido ampliamente a la acción humanitaria. Por lo tanto, los 
responsables de la planificación de proyectos y programas deben ser capaces de 
conjugar los marcos lógicos con el uso de los criterios del CAD, para así poder 
planificar de qué forma se hará el seguimiento y la evaluación de la intervención 
de la que son responsables. Las principales áreas que se incluyen en el marco 
lógico son actividades, insumos, productos y resultados (lo que también se 
conoce como la cadena de resultados).* La relación entre los criterios del CAD y 
la cadena de resultados se argumenta a continuación para cada criterio. 


* Para las definiciones de estos términos, ver CAD-OCDE (2002), Glossary of Key Terms in 
Evaluation and Results Based Managemen (http://www.oecd .org/dataoecd/29/21/2754804.pdf. 
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3.1 Pertinencia/adecuación: 


Definición 


La pertinencia trata de averiguar si el proyecto es congruente con las 
necesidades y las prioridades locales (así como la política del donante). 


Por adecuación se entiende la adaptación de las actividades humanitarias a las 
necesidades locales, fomentando así la apropiación por parte de los beneficiarios, 
la rendición de cuentas y el equilibrio coste-eficiencia respectivamente 


Explicación de la definición 


La pertinencia y la adecuación son criterios complementarios que pueden 
utilizarse a diferentes niveles. Aunque las intervenciones sean pertinentes 
desde un punto de vista macro, ello no significa necesariamente que sean 
adecuadas al tipo de actividad seleccionada. Por ejemplo, la mejora del estado 
nutricional podría considerarse como una intervención pertinente, pero puede 
que la distribución de grandes cantidades de ayuda alimentaria no sea la 
mejor de las actividades para conseguirlo; proporcionar comida o dinero a 
cambio de trabajo podrían ser unas actividades alternativas, así como la 
adopción de medidas para mejorar el funcionamiento de los mercados locales 
(OECD-DAC, 1999). Además, debería evaluarse la adecuación de los recursos 
existentes o de la ayuda proporcionada. Siguiendo con el ejemplo anterior, 
aunque la ayuda alimentaria pudiera ser considerada una actividad adecuada, 
se debería considerar si los alimentos distribuidos lo son. 


La mayoría de los temas transversales en el Anexo 2 pueden estudiarse bajo 
este criterio, como, por ejemplo, si el proyecto/programa promocionó la 
participación, si se realizó un estudio de género, o si las capacidades de las 
mujeres y de los hombres para hacer frente a las dificultades fueron reforzadas O 
debilitadas. En relación con la cadena de resultados del enfoque del marco 
lógico, la pertinencia puede ser utilizada para evaluar los elementos más amplios 
de la intervención como el objetivo general o el resultado esperado, mientras 
que la adecuación puede utilizarse para evaluar los insumos y las actividades. 








* Todas las definiciones en esta sección se han tomado o han sido adaptadas de CAD-OCDE 
(1999), salvo cuando se cita expresamente otra fuente. Algunas de estas definiciones vienen de 
Minear (1994). 
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Cuestiones que hay que tener en cuenta 


El análisis del contexto y una evaluación adecuada de las necesidades son 
particularmente importantes para poder promover respuestas pertinentes y 
adecuadas. Los evaluadores deberían prestar especial atención al grado en 
que la planificación, el diseño y la ejecución de las intervenciones han tenido 
en cuenta el contexto local. Las intervenciones tienen más posibilidades de 
ser pertinentes y adecuadas si: (1) previamente se ha realizado un estudio 
adecuado de las necesidades, y (2) muestran que comprenden y apoyan los 
medios de vida y las capacidades de la población afectada (ALNAP, 2002). 


Se considera que una evaluación de necesidades es adecuada cuando 
identifica claramente, de forma participativa, las diferentes necesidades de la 
población afectada (mujeres, hombres, niñas y niños, diferentes grupos 
sociales), incluyendo de qué modo puede una intervención externa contribuir a 
apoyar las estrategias para sostener los medios de vida de la población. 
También debería tenerse en cuenta la adecuación cultural. Por ejemplo, una 
evaluación realizada después de las inundaciones de 1998 en Bangladesh puso 
de manifiesto que el tipo de refugio que se había dado a los damnificados 
habría sido más adecuado si hubiese contemplado la construcción de un 
espacio privado para las mujeres y las niñas, en las letrinas también, siguiendo 
normas de separación. 


Los evaluadores deben prestar atención a cuestiones de relativismo cultural. 
Por ejemplo, en países con un nivel de vida relativamente alto, ¿deberían las 
intervenciones que se desarrollan tratar de restablecer la situación en la que se 
encontraban los principales interesados antes de la catástrofe o tendrían que 
limitarse a proporcionar la misma ayuda que se habría suministrado en países 
menos desarrollados? (Véanse, por ejemplo, informes de la experiencia de 
Kosovo (ALNAP 2001), y el caso de buenas prácticas de la FICR más adelante.) 
La respuesta a la pregunta de qué se entiende por «necesidad» no es fácil, 
pero es una pregunta que los evaluadores deberían tener en cuenta a la hora 
de evaluar la pertinencia de la respuesta. 


Las evaluaciones deberían también tener en cuenta las capacidades 
institucionales, esto es, deberían preguntarse si en el país o región de la 
intervención se dan las capacidades necesarias en términos de personal, 
conocimientos locales y experiencia para poder dar una respuesta pertinente y 
adecuada (para más información al respecto, véase el ejemplo de buenas 
prácticas de la FICR más adelante). 
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Mensajes clave 


= La pertinencia y la adecuación son criterios complementarios que se utilizan 
para evaluar tanto el objetivo global de la intervención como su enfoque 
específico en términos de cómo ha respondido al contexto y a las 
necesidades locales. 


= Teniendo en cuenta que las evaluaciones deben servir para extraer lecciones, 
la evaluación de la pertinencia y de la adecuación debería traducirse en un 
estudio de por qué, en unos casos, determinadas intervenciones son 
pertinentes o adecuadas y en otros no. 


= Los evaluadores deberían evaluar hasta qué punto la intervención ha 
conseguido dar respuesta a las necesidades percibidas por los diferentes 
interesados, especialmente mujeres y hombres, niños y niñas, entre la 
población afectada. 


Evaluación de la respuesta de la FICR tras el terremoto de 1999 en Turquía 


Antecedentes 


Parte de la evaluación de la respuesta de la Federación Internacional de la Cruz 
Roja y la Media Luna Roja (FICR) durante el terremoto ocurrido en Turquía en 
1999 fue objeto de un análisis detallado de la pertinencia y la adecuación de la 
respuesta en términos de: (1) capacidad de la FICR para responder en un 
contexto urbano y europeo, dada su tendencia a trabajar en países rurales en 
vías de desarrollo; y (2) la adecuación de los recursos suministrados. 


Evaluación de la pertinencia/adecuación 


En la primera parte, el informe analiza cuestiones clave sobre el contexto: 


= ¿Tenía la FICR la competencia adecuada para intervenir en zonas afectadas 
por terremotos, en concreto, en relación con la planificación de escenarios, 
análisis sismológico, cartografía de riesgos, investigación, contactos con 
entidades especializadas y acuerdos marco operacionales con las Sociedades 
Nacionales de los países con riesgo sísmico? 
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= ¿Tenía la FICR capacidad suficiente para responder adecuadamente en el marco 
de un contexto urbano, en un país europeo con alta densidad de población y 
enormemente dependiente de infraestructuras de apoyo complejas pero 
interrumpidas bruscamente, cuya población afectada tiene grandes 
expectativas, con grandes posibilidades de acaparar la atención de los medios 
de comunicación internacionales y de despertar gran interés entre los donantes? 


La evaluación observa que a pesar de que la FICR demuestre ser consciente de 
las implicaciones humanitarias de un cambio global hacia una mayor 
urbanización desde un punto de vista de política de intervención, incluso a través 
de publicaciones como el World Disasters Report, lo cierto es que no se tradujo 
en una respuesta adecuada en el caso de Turquía. Podría resultar útil, en la EAH, 
evaluar la pertinencia de la intervención de una organización en comparación 
con su política operacional. Las consecuencias de esa falta de capacidad se 
recogen en la parte de la evaluación que hace referencia a los recursos 
suministrados. Tal y como se señala en dicha evaluación: 


la calidad de los materiales de socorro distribuidos por la Federación 
Internacional viene determinada por su experiencia de años de trabajo en 
países menos desarrollados, y están esencialmente concebidos para cubrir 
las necesidades de poblaciones desplazadas. Muchas de sus características 
técnicas homologadas garantizan una calidad básica, aunque funcional, en 
Turquía. Sin embargo, los beneficiarios los consideraron inaceptables. La 
Federación Internacional también subestimó la capacidad de la gente para 
rescatar sus bienes de las casas, o la posibilidad que tenían de acceder a 
materiales básicos, a menudo de calidad superior, por otros medios. (p. 83). 


La evaluación también trata de dar una respuesta desde un punto de vista más 
tradicional, esto es, analizar la adecuación de los materiales de socorro 
distribuidos (tiendas, kits higiénicos, keroseno) en términos de su utilidad para la 
población afectada, si la distribución de los materiales se hizo en el momento 
adecuado, y si se adecuaban al contexto, teniendo en cuenta el punto de vista de 
los principales interesados al respecto. 


La evaluación se pregunta si organizaciones como la FICR deberían distribuir un 
estándar mínimo global, tal y como se define por ejemplo en el Proyecto Esfera, O 
si, por el contrario, deberían suministrar materiales y recursos que sean 
apropiados para un país cercano a un nivel de vida europeo. 


Fuente: IFRC (2000): The Turkey Harthquakes Evaluation: An independent analysis of the Red 
Cross/Red Crescent response to the earthquake of August and November 1999 in north-west 
Turkey, with recommendations (Geneva: IERC). 
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Evaluación del PMA sobre la ayuda alimentaria de emergencia y 
recuperación en Somalia 


Antecedentes 


La evaluación analiza tres años de ayuda a cerca de 1,3 millones de personas, 
con 63.000 millones de toneladas de productos alimenticios distribuidos a un 
coste aproximado de »5 millones de dólares. De esta ayuda, estaba previsto 
que el 51 % fuese para rehabilitación y recuperación, el 30 % para ayuda de 
emergencia, y el 19 % para instituciones sociales. El objetivo principal de la 
Operación Prolongada de Emergencia y Rehabilitación (PRRO, en sus siglas 
inglesas) era «contribuir a un marco más amplio para la ejecución de 
programas integrados de rehabilitación en Somalia, manteniendo al mismo 
tiempo cierta flexibilidad para aprovechar cualquier oportunidad de desarrollo 
y responder a situaciones de emergencia» (p. 4). Por tanto, la evaluación debía 
analizar la pertinencia de esta mezcla de provisiones, así como la adecuación 
de cada tipo de intervención. La evaluación la llevaron a cabo dos expatriados 
que visitaron Somalia durante tres semanas a mediados de julio de 2001. 


Evaluación de la pertinencia/adecuación 


La pertinencia global de la intervención se analiza en el contexto de la 
economía política de la ayuda en Somalia. La evaluación estudia atentamente 
la razón de ser de la ayuda alimentaria en Somalia. Entre los argumentos a 
favor de la ayuda alimentaria se encontraron los siguientes: el país es 
normalmente deficitario desde el punto de vista alimentario, las poblaciones 
en muchas localidades están aisladas de los mercados tradicionales y se 
encuentran doblemente en situación de desventaja a causa de la pérdida de 
empleo primario y de bienes. Por otro lado, puede que tenga más sentido dar 
fondos a la población afectada para que pueda comprar alimentos locales allí 
donde se encuentren, ya sea en forma de dinero por trabajo o de alimentos por 
trabajo. El análisis de la pertinencia de las diferentes formas de intervención 
también tiene que ver con cuestiones de conectividad. Por ejemplo, la 
evaluación del apoyo a instituciones sociales señala que: 


Era adecuado que el PMA financiase, con parte de su presupuesto para 
ayuda alimentaria, la solicitud de las comunidades locales, los 
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departamentos gubernamentales recientemente creados y las agencias 
para la reconstrucción y gestión de instituciones sociales, incluidos 
hospitales y orfanatos |...] Sin embargo, [...] estos compromisos, por su 
propia naturaleza, tienden a extenderse más en el tiempo que la mayoría 
de los proyectos de emergencia y recuperación [...] en muchos casos no 
estaba claro cuál era la estrategia de salida (p. 15). 


Por último, el estudio de la pertinencia se complementa con una extensa 
discusión sobre la adecuación de las raciones. Esto incluye un análisis detallado 
de la composición de las raciones en el contexto de la economía alimentaria 
somalí. El análisis de la pertinencia/adecuación que se hace en esta evaluación 
es exhaustivo, puesto que estudia tanto cuestiones generales como específicas. 


Fuente: WFP (2002), Full Report of the Evaluation of PRRO Somalia 6073.00, Food Aid for Relief 
and Recovery in Somalia (Rome: WFP). 


3.2 Conectividad 


Definición 


La conectividad se refiere a la necesidad de asegurar que las actividades de 
emergencia a corto plazo se lleven a cabo en un contexto que tenga en cuenta 
tanto los problemas relacionados como los del largo plazo. 


Explicación de la definición 


La conectividad es una adaptación del concepto de sostenibilidad: la idea de que 
las intervenciones deberían contribuir a la consecución de objetivos a largo plazo 
y, con el tiempo, ser gestionadas sin ayuda del donante. Aunque suela aceptarse 
que la acción humanitaria, la rehabilitación y el desarrollo están estrechamente 
relacionados, y que la acción humanitaria debería establecer un marco para la 
recuperación, no existe actualmente consenso sobre hasta qué punto la acción 
humanitaria debería contribuir o no a paliar necesidades de más largo plazo. El 
hecho de que durante las emergencias complejas se den pocas actividades de 
desarrollo, o de que en los desastres naturales, los principales interesados queden 
semipermanentemente prisioneros de la fase de emergencia, hace que la 
sostenibilidad sea difícil de alcanzar. Por ello las EHAH deben priorizar la 
conectividad entre la acción humanitaria, la reconstrucción y el desarrollo. 
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Los evaluadores deberían centrarse en estudiar si se han establecido los 
enlaces necesarios entre las fases de emergencia y reconstrucción; deberían 
preguntarse, por ejemplo, si existe una estrategia cabal de salida con plazos, 
reparto de responsabilidades y descripción detallada de cómo se va a hacer el 
traspaso a las agencias de desarrollo o a los departamentos gubernamentales, 
y si hay suficientes fondos disponibles para financiar la situación tras la 
emergencia. La evaluación de la conectividad suele estar íntimamente 
relacionada con la evaluación del impacto, ya que ambos conceptos 
consideran las consecuencias a largo plazo. En términos de la cadena de 
resultados del enfoque del marco lógico, la evaluación de la conectividad 
cubrirá principalmente los vínculos entre el producto obtenido y los resultados 
esperados. La columna correspondiente a hipótesis debería incluir información 
sobre los riesgos relacionados con la conectividad. 


Cuestiones que hay que tener en cuenta 


Los evaluadores deberían prestar especial atención a cómo se han gastado 
comparativamente los fondos en la fase de emergencia y en la fase de 
reconstrucción. Con frecuencia, la mayor parte de los fondos destinados a la 
ayuda humanitaria se suelen emplear en actividades de reconstrucción, en 
lugar de emplearse en actividades de emergencia (ALNAP, 2002). Las 
actividades de reconstrucción deberían evaluarse en función de indicadores 
apropiados, que no siempre son necesariamente los mismos que se utilizan 
para evaluar las actividades de emergencia (como, por ejemplo, el número de 
personas alimentadas o de vidas salvadas). A la hora de hacerlo, sin embargo, 
los evaluadores podrían encontrarse con dificultades derivadas de la existencia 
de informes financieros inadecuados o de una mala formulación de los objetivos 
en los documentos de planificación, que no siempre son suficientemente claros. 


Conectividad y partenariado: La acción humanitaria tiende a promover la 
conectividad de manera más eficiente allí donde ya existen acuerdos de 
asociación en el ámbito del desarrollo, en particular entre ONG nacionales e 
internacionales. Los evaluadores deberían analizar la naturaleza de las alianzas 
que promueven la conectividad; por ejemplo, deberían estudiar cómo surgieron 
y qué apoyos recibieron, para que otros puedan aprender de esta experiencia. 


Las evaluaciones deberían estudiar en qué medida se están apoyando y 
desarrollando las capacidades locales. El desarrollo y el apoyo de las 
capacidades son fundamentales para asegurar que los frutos de las 
intervenciones no se pierdan. Por ejemplo, algunas evaluaciones señalan que 
el fortalecimiento de las capacidades de los comités de agua para gestionar las 
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infraestructuras de agua puede ser un reto demasiado grande en la fase de 
emergencia (véase el ejemplo de buenas prácticas de ECHO, más adelante, y 
ALNAP, 2002). Las evaluaciones deberían también examinar en qué medida 
las intervenciones suponen un apoyo a los medios de vida de las poblaciones 
afectadas o si, por el contrario, los trastornan, pues esto tendrá un impacto 
muy significativo en los resultados a largo plazo. También deberían analizar 
hasta qué punto la capacidad del gobierno, de la sociedad civil y de otros 
actores asociados se ve reforzada en diferentes ámbitos como consecuencia 
de la intervención. La investigación de ALNAP (2004) ha demostrado que la 
capacidad local y la calidad del personal local es uno de los factores clave en 
cuanto al logro o el fracaso de las intervenciones. 


Mensajes clave 


= Los programas de emergencia a gran escala pueden conseguir un gran 
impacto a largo plazo; por ejemplo, sobre las estructuras locales de poder, las 
capacidades del gobierno, la igualdad de género o el medioambiente. 


= Los evaluadores deberían determinar si los fondos se han utilizado para la 
emergencia o para la reconstrucción, y evaluar en consecuencia. 


= Al evaluar la conectividad, los evaluadores deberían prestar especial atención 
a los factores institucionales, sobre todo a la existencia de alianzas sólidas, y 
establecer en qué medida se fortalecen y desarrollan las capacidades locales 
y nacionales. 


Evaluación de los Planes Globales de ECHO 


Antecedentes 


El Manual for the Evaluation of Humanitarian Aid de ECHO exige que se 
evalúe la conectividad —lo que ECHO llama viabilidad- en las evaluaciones 
que encarga. El vínculo entre la ayuda de emergencia, la rehabilitación y el 
desarrollo (abreviado como LRRD en inglés o VARD en español), o asegurar la 
conectividad, suele ser un tema central en las evaluaciones de operaciones 
financiadas por ECHO. El manual establece: «La ayuda humanitaria debe 
desarrollar las capacidades locales fortaleciendo los mecanismos de respuesta 
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y las instituciones. La filosofía básica es que deben darse todos los pasos 
necesarios para impedir que los beneficiarios de la ayuda humanitaria 
dependan de ella, y que la autosuficiencia sea la meta a alcanzar» (ECHO, 
1999: p.12). Entre las evaluaciones de ECHO encontramos dos ejemplos de 
buenas prácticas relativas a la evaluación de la conectividad. 


Evaluación de la conectividad 


En la evaluación del Plan Global de ECHO en Angola, se incluye un informe 
sobre tres operaciones de agua y saneamiento ejecutadas por diversas ONG. 
La evaluación señala sucintamente que, aunque en cada caso las 
intervenciones de agua alcanzasen sus objetivos a corto plazo, era improbable 
que contribuyeran a un desarrollo a más largo plazo. Con relación a una de 
estas operaciones, la evaluación señala: 


La mejor forma de clasificar este proyecto es diciendo que se trata de un 
programa de recuperación de emergencia de éxito [...] Sin embargo, no 
garantiza un impacto duradero en lo que se refiere al suministro de agua, 
puesto que el proyecto no desarrolló ninguna estrategia a largo plazo para el 
mantenimiento de las bombas de agua [...] la experiencia en otros países 
demuestra que el mantenimiento de las bombas de agua manuales es un 
factor esencial en cualquier estrategia de suministro de agua en el ámbito 
rural. No es realista esperar que las bombas manuales recientemente 
introducidas en el marco de un proyecto de emergencia sobrevivan mucho 
al paso del tiempo, una vez finalizado el proyecto, aun cuando se imparta 
formación y se hayan suministrado piezas de repuesto (ECHO, 2001a: p. 13). 


La conectividad puede ser especialmente un problema en el sector del agua, 
en donde ha quedado frecuentemente demostrado que es muy difícil 
implantar soluciones para la gestión del agua a largo plazo (ALNAP, 2002). 


La evaluación del apoyo prestado por ECHO al sector sanitario en 
Centroamérica llega a conclusiones similares, en este caso con relación a 
instituciones insostenibles. Esta evaluación plantea cuestiones relevantes 
sobre la medida en que una intervención de emergencia puede realmente 
contribuir al desarrollo a largo plazo (cuestiones que normalmente están 
siempre, como es lógico, en la mente de los evaluadores), y sobre el 
solapamiento entre la emergencia y la rehabilitación. En ella se señala que 
«Alrededor del 90 % de las personas entrevistadas confesaron que casi todos 
los programas de salud financiados por ECHO se irían al traste cuando se 
acabara la ayuda de las ONG» (ECHO, 2001b, p. 10). El informe subraya el 
problema de la falta de conexión entre ECHO y los departamentos de 
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desarrollo de la Comisión Europea, hecho que se menciona en muchas 
evaluaciones de ECHO (ALNAP 2001). 


Fuentes: ECHO (2001a): Evaluation of ECHO's Global Plan 2000-Angola. Evaluation Report 305 
(Brussels: ECHO); ECHO (2001b): Central America. Hurricane Mitch Global Plans 1998 and 
1999. Health Sector-2. Evaluation Report 300. (Brussels: ECHO). 





Evaluación de la convocatoria para solicitud de fondos realizada por 
DEC para el terremoto de la India 


Antecedentes 


La evaluación del Disasters Emergency Committee (DEC) sobre las 
intervenciones de las ONG británicas a raíz del terremoto de Gujarat en enero 
de 2001 es un informe excepcionalmente exhaustivo, producto de la 
colaboración de ocho especialistas de tres organizaciones con base en la India 
y en el Reino Unido, y de tres visitas realizadas por los miembros del equipo 
británico entre marzo y octubre de 2001. La evaluación utilizó el Código de 
Conducta de la Cruz Roja y de la Media Luna Roja y las ONG en respuesta a 
los desastres como valores de referencia e incluyó también una encuesta a 
2.300 personas de 50 pueblos distintos. 


Evaluación de la conectividad 


Esta evaluación ilustra cómo debe analizarse la conectividad desde un punto 
de vista macro y micro, partiendo del nivel de las instituciones de ámbito 
nacional hasta llegar a los medios de vida locales. La evaluación estudia la 
cuestión clave del tiempo, y observa cómo muy pocas organizaciones revisaron 
su estrategia en el momento crucial de la transición entre la emergencia y la 
reconstrucción. Analiza también la calidad de las alianzas entre ONG 
internacionales y locales, el papel clave desempeñado por las buenas 
asociaciones y las capacidades locales en las intervenciones que tuvieron éxito, 
y si las organizaciones optaron por trabajar con personal expatriado o local. 


En general, la evaluación concluye que las ONG que intervinieron 
directamente después del terremoto hubieran hecho mejor en utilizar sus 
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recursos para presionar a las diferentes instancias gubernamentales a fin de 
que liberaran recursos para los grupos más vulnerables, pues dado el contexto 
político, era muy probable que la ayuda de las ONG, más que sustituir, 
replicara lo que el gobierno habría hecho de todas formas. Así, se perdió la 
oportunidad de estimular un cambio social a través de la sensibilización de las 
autoridades. En este caso, el estudio de la conectividad se centró, por tanto, no 
en el fortalecimiento de las capacidades locales, sino en el vínculo entre los 
actores externos e internos. 


En cuanto a las intervenciones en particular, la evaluación analiza 
detalladamente el apoyo a la rehabilitación y a los medios de vida locales. 
Desde el punto de vista del impacto de la conectividad sobre las poblaciones 
afectadas, el área de apoyo a los medios de vida/resistencia es una cuestión 
clave que a menudo tiende a olvidarse en la EAH. Con respecto a la captación 
de agua, la evaluación analiza la disyuntiva entre velocidad o calidad, esto es, 
entre construir el mayor número posible de estructuras de control de agua o 
asegurar la mayor movilización de personas dentro de una comunidad. Con 
respecto al sector de la vivienda, la evaluación analiza la conexión entre cobijo 
y sustento, y trata de averiguar si la estrategia de reconstrucción de viviendas 
adoptada por cada una de las ONG era susceptible de traducirse en soluciones 
sostenibles para la población afectada. 





Fuente: DEC (2002): Independent Evaluation of Expenditure of DEC India Harthquake Appeal 
Funds (London: Disasters Emergency Committee). 
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3.3 Coherencia” 


Definición 


Necesidad de evaluar las políticas de seguridad, desarrollo, comercio y 
militares así como las humanitarias, para asegurar que haya consistencia y, en 
concreto, que todas las políticas tengan en cuenta las cuestiones humanitarias 
y los derechos humanos. 


Explicación de la definición 


La evaluación de la coherencia debe centrarse en el grado en que las políticas 
de intervención de los diferentes actores son complementarias O 
contradictorias. Incluye todo tipo de políticas, como por ejemplo, la promoción 
de igualdad de género, la participación o la protección medioambiental. 


La coherencia se convierte en un tema importante a evaluar cuando la política 
es la que promueve la emergencia humanitaria o su continuidad, y cuando en 
la misma emergencia se ven implicados actores civiles y militares (por 
ejemplo, cuando los militares prohíben a los actores humanitarios acceder a 
determinadas zonas por razones de seguridad). La coherencia está volviéndose 
especialmente importante teniendo en cuenta los recientes vínculos entre los 
actores humanitarios y militares en Kosovo, Afganistán e Irak. La coherencia 
también puede analizarse exclusivamente en el ámbito humanitario —para 
comprobar si todos los actores, incluidos los gobiernos, la ONU, los donantes, 
la sociedad civil y el sector privado están trabajando para alcanzar los mismos 
objetivos. 


Tal y como se desprende de la definición, la evaluación de la coherencia debe 
tener en cuenta todo lo que tenga que ver con el espacio humanitario, incluida 
la protección. Por ejemplo, se ha dado el caso de que una agencia de la ONU 


7 Algunos miembros integrantes del equipo que realizó las pruebas piloto de esta guía pensaron 
que la coherencia no debería considerarse como un criterio en sí mismo, sino que debería 
incluirse en la coordinación. Otros opinaron que solicitar a los evaluadores una evaluación de la 
respuesta humanitaria utilizando este criterio era demasiado pedir y que se debería realizar una 
nueva definición basándose en las políticas de intervención de la o las agencias que fuesen 
evaluadas como punto de partida para realizar dicha evaluación. Se han integrado en esta 
sección las dificultades para evaluar la coherencia. 








sección tres | trabajar con los criterios del CAD 


33 





promovía el retorno de los refugiados a sus países de origen, mientras que otra 
se oponía a ello (CAD-OCDE,, 1999). Otro ejemplo sería la coherencia entre las 
políticas de importación gubernamentales y las distribuciones de ayuda 
alimentaria tras las inundaciones de Bangladesh para estabilizar los precios 
del arroz (Beck, 2005). Las evaluaciones deben tratar de averiguar si los actores 
han enfocado la cuestión de la protección de forma coherente y si la política 
de intervención del programa ha cubierto las necesidades de protección de los 
beneficiarios. 


La coherencia es uno de los criterios del CAD más difíciles de poner en práctica 
(ALNAP, 2003). A menudo se confunde con el concepto de coordinación; 
además, la mayoría de las EAH no tiene en cuenta la política de intervención de 
la agencia evaluada y menos aún las políticas de varias agencias a la vez. Puede 
que la consideración de este criterio sea menos relevante en el caso de la 
coherencia de las agencias únicas, o de evaluaciones de proyectos individuales, 
pero si una evaluación decide no tener en cuenta estas políticas como puntos de 
referencia para medir los resultados, debería dejar claras las razones para no 
hacerlo. La evaluación de la coherencia debería complementar la de la 
coordinación. Mientras que la evaluación de la coherencia se centra en 
cuestiones de política, la evaluación de la coordinación se centra en cuestiones 
operacionales. Para más información sobre coordinación, véase bajo el concepto 
de eficiencia, más adelante en la Sección 3.6. 


En relación al enfoque del marco lógico, la coherencia se trata en términos de 
resultados, es decir, en los resultados intermedios o a largo plazo de las diferentes 
contribuciones proporcionadas por los actores de la acción humanitaria. 


Cuestiones que hay que tener en cuenta 


Los responsables de evaluación deben garantizar que los equipos de 
evaluación tengan la capacidad y los recursos necesarios para evaluar la 
coherencia, en concreto especialistas en análisis de políticas o en evaluación 
de las relaciones cívico-militares. También deberían ser capaces de vivir con 
las consecuencias de haber evaluado la coherencia, ya que de todos los 
criterios del CAD es el más «político», al centrase en cuestiones de política 
más generales. El ejemplo más reciente y notable es la evaluación de la 
emergencia de los Grandes Lagos en 1994, en donde los contingentes militares 
fueron obligados a abandonar Ruanda durante la crisis, a pesar de las pruebas 


* Para más información sobre coherencia, véase Macrae y Leader (2000). 
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que indicaban que un rápido despliegue de tropas hubiera podido impedir 
muchos de los asesinatos que se cometieron y la consiguiente entrada masiva 
de refugiados en Zaire, que condujo a una respuesta humanitaria masiva 
(CAD-OCDE, 1999). Las ramificaciones políticas de los resultados de la 
evaluación tuvieron una amplia repercusión, incluso en las instancias más 
altas de la ONU y en varios gobiernos. 


Recientemente las fuerzas militares se han ido implicando cada vez más en la 
ayuda humanitaria, en algunos casos prestando apoyo a las agencias 
humanitarias o suministrando ayuda directamente, y cabe esperar que esta 
siga siendo la tendencia. Los límites aceptables de colaboración entre los 
actores humanitarios y las fuerzas armadas, y el papel que cada uno debería 
desempeñar son todavía muy debatidos.*0 Barry y Jefferys (2002) sostienen 
que el mandato principal de los militares es favorecer la seguridad y proteger a 
los civiles, mientras que las agencias humanitarias tienen el mandato de 
ejecutar la ayuda humanitaria de forma imparcial, y que por tanto ambas 
actividades deberían mantenerse separadas. Desde esta perspectiva, la 
ausencia de coherencia sería preferible. Debido a la mayor implicación de los 
militares, los evaluadores deberían prestar especial atención a los mandatos, 
las agendas y los principios de los diferentes actores, así como evaluar el 
grado en que estos mandatos se contradicen o complementan. 


Mensajes clave 


= Puede que la evaluación de la coherencia sea el criterio del CAD más difícil 
de evaluar, sobre todo en el caso de las evaluaciones de una sola agencia o 
un solo proyecto 


= La evaluación de la coherencia es especialmente importante cuando varios 
actores están implicados en la respuesta, ya que puede que sus mandatos e 
intereses estén en conflicto. 


= Con respecto a la coherencia, las preguntas clave a plantearse son: ¿por qué 
ha habido o no coherencia?, ¿cuáles han sido los factores políticos concretos 
que han determinado la existencia o inexistencia de coherencia?, y ¿debería 
haber coherencia en cualquier caso? 





” Actualmente Republica Democrática del Congo (N. del T.) 
1% Para más detalles, véase TASC (2004) (http://www.reliefweb.int/rw/lib.nsf/dbh900SID/DPAL- 
62GCWL/$FILE/ocha-civmil-28jun.pdf?OpenElement) y el Capítulo 1 de ALNAP (2004). 
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Kosovo: Evaluación del Programa de Preparación y Respuesta ante 
Emergencias del ACNUR 


Antecedentes 


La respuesta internacional al conflicto de Kosovo en 1999 está considerada 
como una de las de mayor escala desde el punto de vista de los recursos 
utilizados. Esto, a su vez, dio lugar a numerosos informes de evaluación. El eje 
central y la calidad de estos informes constituyen a su vez el centro de 
atención del Annual Review 2001 de ALNAP. Como se señala en su informe 
anual, la coherencia es una de las cuestiones más importantes en la 
evaluación del conflicto de Kosovo y puede que haya sido negativa para el 
bienestar de gran parte de las personas afectadas por la crisis: 


Lo que diferencia, en particular, a esta acción humanitaria de otras es la 
medida en que está sometida a los dilemas y las paradojas que se 
derivan de la implicación de la OTAN en ella, especialmente porque los 
gobiernos que estaban enviando bombarderos estaban al mismo tiempo 
financiando proyectos de ayuda humanitaria. Tanto los programas como 
las evaluaciones reconocen que la implicación de la OTAN en el 
desarrollo de la secuencia de los acontecimientos fue enorme y decisiva. 
(ALNAP 2001: p. 72) 


Dado el significativo papel desempeñado por la OTAN, tanto desde el punto de 
vista militar como humanitario (como, por ejemplo, la construcción de campos 
de refugiados), habría cabido esperar que los informes de evaluación se 
centraran en la cuestión de la coherencia, especialmente cuando se estaba 
bombardeando sin autorización de la ONU. En realidad, muy pocas de las 
evaluaciones realizadas analizaron la coherencia de forma fiable o analítica. 
Una de las razones podría ser que la mayoría de las evaluaciones de Kosovo 
eran de agencias únicas. Una evaluación global del sistema hubiese podido 
generar más atención a la coherencia. 


Tan solo hemos encontrado un ejemplo de buenas prácticas de evaluación de la coherencia en 
la Base de Datos de Informes de Evaluación del sitio internet de ALNAP 
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Evaluación de la coherencia 


La evaluación de la respuesta de ACNUR es una de las excepciones en cuanto 
al análisis sistemático de la coherencia. Esta dedica un capítulo entero a 
analizar las relaciones de ACNUR con los militares; en él esboza de qué forma 
la cooperación de ACNUR con la OTAN en Kosovo dio como resultado la 
evacuación de la agencia, dado que la OTAN era parte interesada en un 
conflicto no autorizado por el Consejo de Seguridad de la ONU. A 
continuación, analiza la relación OTAN-ACNUR desde el punto de vista 
político a través de las formas visibles y concretas de dicha cooperación. La 
evaluación también examina la coherencia de dicha política con respecto a la 
protección de los refugiados. 


El Alto Comisionado para los Refugiados y el Secretario General de la OTAN 
acordaron cooperar en el área logística (operaciones de transporte aéreo, 
descarga y almacenamiento de la ayuda), en la construcción de campos de 
refugiados (ACNUR actuó como mediador ante los estados miembros para que 
acogieran en sus países de origen a algunos refugiados procedentes de la 
Antigua República Yugoslava de Macedonia) y en la ayuda para el transporte 
de dichos refugiados a terceros países. El informe analiza las implicaciones 
políticas de la cooperación en cada una de estas áreas desde la perspectiva de 
ambas partes. 


La evaluación también se ocupa de una de las cuestiones clave sobre la 
evaluación de la coherencia, a saber: en qué medida se mantiene la línea 
divisoria entre lo militar y lo humanitario. En el caso de Kosovo, esta línea era 
borrosa, con algunas consecuencias negativas para los refugiados. Por 
ejemplo, algunos campos quedaban demasiado cerca del frente de guerra. De 
este modo, se ilustra de nuevo que la coherencia no siempre es preferible o 
produce resultados positivos. La evaluación también trata las implicaciones a 
largo plazo de la cooperación militar-humanitaria con respecto al trabajo del 
ACNUR; parece que una de las implicaciones es la necesidad de que las 
organizaciones humanitarias tengan una política más clara sobre la forma en 
que se debería constituir dicha relación. 


Fuente: UNHCR (2000): The Kosovo Refugee Crisis: an Independent Evaluation of UNHCR's 
Emergency Preparedness and Response. (Geneva: UNHCR). 
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3.4 Cobertura 


Definición 


Necesidad de llegar a la mayor población posible que se enfrente a un riesgo 
de muerte, dondequiera que esté.12. 


Explicación de la definición 


Evaluar la cobertura significa establecer quiénes han sido los receptores de la 
acción humanitaria y por qué. Una vez establecido por qué la acción alcanza a 
unos grupos y no a otros, la pregunta que nos debemos plantear es: «¿Cuáles 
han sido las razones primordiales por las que la intervención proporcionó, o no, 
ayuda y protección a los principales grupos de población, adecuadas a sus 
necesidades?». El Código de Conducta del Movimiento Internacional de la 
Cruz Roja y de la Media Luna Roja y de las ONG aplicable a respuestas de 
emergencia frente a desastres no deja lugar a dudas de quiénes deberían 
recibir ayuda (véase Cuadro 3). La cobertura está íntimamente relacionada con 
la eficiencia, como las declaraciones objetivas de la acción humanitaria, que se 
evalúan en referencia a la eficacia, indicando a menudo el número o el 
porcentaje de población cubierta. 


La evaluación se realiza normalmente en tres niveles: 


1A escala internacional, estableciendo si los recursos suministrados durante 
una emergencia son adecuados en comparación con otras emergencias. Las 
evaluaciones podrían dedicar más tiempo a estudiarlo. Un buen ejemplo de 
ello es el de DEC (2000), que analiza esta cuestión con respecto al conflicto 
de Kosovo. 


2 A escala nacional o regional, determinando si la ayuda se suministró de 
acuerdo a las necesidades de cada área en particular, y por qué o por qué no 
fue así. 


2 Los evaluadores que han participado en las pruebas piloto de esta guía mantuvieron opiniones 
enfrentadas en cuanto a si la cobertura debería considerarse un criterio aparte o si debería 
incluirse en el criterio de eficiencia. De acuerdo con CAD-OCDE, (1999), se ha incluido como un 
criterio aparte. 
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A escala local (en pueblos, barrios, comunidades y/o campos de refugiados), 
averiguando quién ha recibido la ayuda y por qué. La información en este nivel 
debería desglosarse por categorías sociales, tales como grupo socioeconómico, 
sexo, edad y grupo étnico. 


Tanto a escala regional como local, los evaluadores deben evaluar el sesgo de 
inclusión de determinados grupos, es decir, por qué se ha proporcionado 
ayuda a grupos que no deberían haber sido incluidos (desagregados por sexo, 
grupo socioeconómico y grupo étnico), así como el alcance del sesgo de 
exclusión de determinados grupos, es decir, la exclusión de grupos que 
deberían haber recibido ayuda y que sin embargo no la han recibido 
(desagregados por sexo, grupo socioeconómico y grupo étnico). 


Evaluar si se han cubierto las necesidades de protección es un elemento clave 
en la evaluación de la cobertura. Los evaluadores deberán preguntarse si 
aquellos que necesitaban protección la han recibido. Aun cuando las 
cuestiones relativas a la protección no constituyeran una parte esencial de la 
intervención, los evaluadores deberían evaluar, a pesar de todo, si estas 
cuestiones tendrían que haber sido incluidas en la planificación. Véase el 
ejemplo de buenas prácticas de Danida a continuación.13 


Cuadro 3. Código de Conducta de la Cruz Roja y la Media Luna Roja 
y las ONG y cobertura 


La ayuda prestada no está condicionada por la raza, el credo o la nacionalidad de 
los beneficiarios, ni por ninguna otra distinción de índole adversa. El orden de 
prioridad de la asistencia se establece únicamente en función de las necesidades. 
Siempre que sea posible, la prestación de socorro deberá fundamentarse en un 
cálculo minucioso de las necesidades de las víctimas de las catástrofes y de la 
Capacidad de hacer frente a esas necesidades con los medios disponibles 
localmente. En la totalidad de nuestros programas reflejaremos las 
consideraciones pertinentes respecto a la proporcionalidad. El sufrimiento 
humano debe aliviarse dondequiera que exista; la vida tiene tanto valor en una 
parte del país como en cualquier otra. Por consiguiente, la asistencia que 
prestemos estará en consonancia con el sufrimiento que se propone mitigar. 


Fuente: http://wwwifrc.org/publicat/conduct/code.asp 


Según un reciente ensayo sobre evaluación de necesidades y de protección, estas deberían 
considerarse como el marco fundamental para el análisis en situaciones de conflicto, pero hoy 
por hoy no se dispone de herramientas adecuadas para llevar a cabo este tipo de evaluación 
(ODI, 2003). 
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Cuestiones que hay que tener en cuenta 


Proporcionalidad. La prestación de ayuda en relación a la necesidad es un 
principio fundamental en la acción humanitaria (véase el Cuadro 3). La EAH 
debe evaluar si la ayuda se ha prestado de acuerdo con las necesidades en los 
tres niveles mencionados anteriormente: a nivel internacional, nacional y local. 
Esta es una característica esencial para utilizar correctamente el criterio de 
cobertura. 


Diferencia de opiniones sobre qué es una necesidad. Oué es una necesidad y, 
por ende, a quién alcanza la acción humanitaria son cuestiones que a menudo 
vienen determinadas por la cultura. Las evaluaciones han puesto de manifiesto 
que existen opiniones divergentes sobre si la acción humanitaria debería 
cubrir a toda la población afectada o solo a los más vulnerables. Un buen 
ejemplo de ello es la ayuda alimentaria, que las agencias suelen dirigir a los 
más «vulnerables», pero que las comunidades receptoras suelen compartir de 
acuerdo con las normas culturales locales. (ALNAP, 2004, 2002). Los 
evaluadores tienen que ser conscientes de esta cuestión y establecer si los 
métodos de selección, a menudo impuestos por los gobiernos donantes, son 
apropiados desde el punto de vista de los principales beneficiarios. Un enfoque 
práctico es el de verificar los estándares de cobertura de la organización y 
evaluar en qué medida se han cumplido y cuál ha sido su pertinencia. 


El informe de evaluación debería proporcionar una estimación de la proporción 
de personas necesitadas que han recibido ayuda, expresada en forma de 
porcentaje y no en números absolutos. En el pasado, los informes solían 
proporcionar números absolutos de beneficiarios, lo que impide hacerse una 
idea de cuál es la población total necesitada. 


La situación de los desplazados internos (DI) podría requerir especial atención 
al evaluar la cobertura, ya que estos no están incluidos en el derecho 
internacional que protege a los refugiados, aunque muchos de ellos sean de 
los más necesitados. Un buen ejemplo de cómo debe analizarse la cobertura 
de los desplazados internos (DI) ha sido publicado recientemente por la 
agencia sueca de desarrollo internacional (Sida).14 


En el enfoque del marco lógico, la cobertura suele incluirse en los resultados e 
indicadores relativos al número y tipo de personas afectadas seleccionadas 


14 Se realizó un estudio conjunto de desplazados internos en 10 países por parte de varias 
agencias en 2003/5; para más detalles, véase http://www.sida.se/sida/jsp/sida.jsp?d=1188ra= 
343»b8searchWords=intemally%20displaced%20persons. 
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como beneficiarias de la ayuda. Los resultados deberían dejar claro a cuántos 
beneficiarios debe alcanzar la acción, así como los grupos particulares a los 
que se dirige. Términos como «grupos vulnerables» deberían desagregarse en 
categorías socioeconómicas y de género. 


Mensajes clave 


= Cuando se evalúa la cobertura es fundamental evaluar la proporcionalidad de 
la ayuda, es decir, saber si la ayuda proporcionada se ha ajustado a las 
necesidades. 


= La cobertura viene a menudo determinada por factores políticos, y para 
comprender por qué algunos grupos han obtenido cobertura se debe realizar 
un análisis de dichos factores, en los cuales se incluyen habitualmente 
cuestiones de protección y de espacio humanitario. 


= Las Cuestiones relativas a la equidad son fundamentales cuando se analiza la 
cobertura de la ayuda. Esta debería tener en cuenta la equidad a través del 
análisis geográfico y de un desglose de los datos por categorías 
socioeconómicas relevantes, como por ejemplo la categoría de género, grupo 
socioeconómico, grupo étnico, edad y capacidades. 





Evaluación de la Ayuda Humanitaria danesa a Sudán 1992-1998 


Antecedentes 


Esta evaluación analiza la ayuda danesa a Sudán, uno de los mayores 
receptores de la ayuda humanitaria de Dinamarca, durante el periodo 1992- 
1998. Siendo una de las numerosas evaluaciones sobre la ayuda humanitaria 
de este país por todo el mundo en los años noventa, esta evaluación se centra 
concretamente en la cobertura. 


Evaluación de la cobertura 


Esta evaluación se considera ejemplo de buenas prácticas porque se caracteriza 
por un análisis en profundidad de los aspectos políticos de la cobertura, incluyendo 
cuestiones de espacio humanitario, algo que está en disposición de hacer ya que 
cubre un periodo de varios años. Compara, de forma muy útil, intervenciones que 
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intentan dar respuesta a las necesidades inmediatas (por ejemplo, salud primaria y 
nutrición), en contraposición a problemas estructurales a largo plazo, tales como la 
marginalización y la explotación de las comunidades desplazadas. La evaluación 
considera a esta última como un factor clave a la hora de establecer el alcance de 
la cobertura. Asimismo incluye cierto número de áreas clave para la evaluación de 
la cobertura que podrían también ser utilizadas en otras evaluaciones: 


= El contexto general, incluido el número de personas necesitadas y el 
suministro de recursos procedentes de la ayuda externa. 


= Los fondos globales dedicados a Sudán. 


= Los estándares de cobertura en Sudán; según establece la evaluación, las 
agencias los revisaron a la baja hasta muy por debajo de lo que puede 
considerarse como media, reduciendo así el número de personas 
supuestamente «necesitadas». 


= Los niveles totales de la ayuda alimentaria suministrada, incluida una 
discusión detallada sobre el espacio humanitario y sobre cómo la 
inseguridad y los obstáculos políticos han limitado el suministro de ayuda. 


= La contribución de Danida a la ampliación del espacio humanitario. 
= La evaluación de la cobertura desagregada por grupos étnicos. 


= La evaluación de la cobertura de los desplazados internos, incluyendo un 
análisis de por qué este grupo no está cubierto en algunos casos. 


Fuente: DANIDA (1999) Evaluation of Danish Humanitarian Assistance 1992-1998: Volume 7, 
Sudan. Copenhagen: DANIDA. 


Evaluación del PMA sobre la Ayuda Alimentaria de Emergencia y 
Recuperación en los Grandes Lagos 


Antecedentes 


El propósito de este informe era rendir cuentas al Comité Ejecutivo del PMA y 

evaluar la utilidad de la operación de ayuda prolongada y rehabilitación (PRRO 
en sus siglas inglesas) como mecanismo e instrumento de programación en los 
Grandes Lagos, y como herramienta efectiva para apoyar las actividades de 
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emergencia y de recuperación en la región. El equipo de evaluación lo 
componían cuatro expatriados, un miembro del PMA y tres consultores, que 
visitaron la región durante cinco semanas a comienzos de 2002. La PRRO de 
los Grandes Lagos en el momento de la evaluación era la mayor operación del 
PMA, pues pretendía dar cobertura a 1,12 millones de personas anualmente 
con un presupuesto total estimado de 437 millones de dólares. Teniendo en 
cuenta la dimensión del programa y su carácter regional, la evaluación de la 
cobertura constituía un reto considerable. Más aún por la ausencia de datos 
tan típica en este tipo de evaluaciones (p. 17): «A la misión de evaluación le 
costó mucho trabajo y esfuerzo encontrar datos sobre distribuciones de cada 
alimento, sobre beneficiarios, así como comparar los resultados y los avances 
respecto a lo que se había aprobado inicialmente». 


Evaluación de la cobertura 


En los términos de referencia de la evaluación se incluye un conjunto de 
preguntas útiles con relación a la consecución de objetivos y a la evaluación. La 
consecución de objetivos es analizada de forma exhaustiva desde una 
perspectiva geográfica, política, comunitaria e intrafamiliar. La evaluación resalta: 


= Las dificultades políticas que entraña trabajar con refugiados en la región y 
cómo afecta a la cobertura; por ejemplo, el gobierno de Tanzania no estaba 
dispuesto a aceptar que se redujeran oficialmente las raciones generales en 
beneficio de los refugiados de Burundi y de la República Democrática del Congo. 


= El impacto de las preocupaciones sobre la seguridad y de las restricciones 
de movimiento, que impidieron acceder a algunas de las áreas geográficas 
más problemáticas, como, por ejemplo, algunas zonas de Burundi. 


= La forma en que la PRRO ha modificado su enfoque y pasa de querer 
generalizar la ayuda a limitarla a una población destinataria más definida 
perteneciente a determinadas zonas de la región. 


= La selección de beneficiarios entre grupos con distintos niveles de ingresos 
económicos en los campos de refugiados. 


= La selección de beneficiarios entre los refugiados que se encuentran fuera del 
campamento, una población que en otras evaluaciones podría haber sido omitida. 


= El listado de compromisos adquiridos por el PMA, relativos a la igualdad de 
género, que incluye información desagregada sobre la distribución de ayuda 
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alimentaria por sexos y los esfuerzos realizados para cerrar la brecha de 
género con relación a la distribución de la ayuda alimentaria y a la educación. 


= La necesidad de que haya directrices prácticas para seleccionar a las 
familias más vulnerables de cara al reparto de raciones mayores 
generalizadas. 


El informe también resalta la difícil cuestión cultural que entraña querer 
individualizar la ayuda (p. 20): «Querer alcanzar a los más vulnerables de una 
familia o de una comunidad en una cultura para la cual el compartir es la 
norma puede, de hecho, poner en riesgo la vida de ese individuo cuando hay 
escasez de alimentos y/o de otros recursos». 


Fuente: WFP (2002) Full Report of the Evaluation of the Great Lakes PRRO 6077 and PRRO 
6077/1 Food Aid for Relief and Recovery in the Great Lakes Region. Rome: WFP. 


3.5 Eficiencia 


Definición 
La eficiencia mide los resultados —cualitativos y cuantitativos- obtenidos como 


resultado de los insumos utilizados. En general, requiere la comparación de un 
enfoque alternativo para comprobar si se ha utilizado el método más eficiente. 


Explicación de la definición 


La eficiencia mide de qué modo se transforman económicamente los insumos 
(normalmente recursos financieros, humanos, técnicos y materiales) en 
productos. La evaluación de la eficiencia tiende a empezar con datos 
financieros y debería tener en cuenta la urgencia de las necesidades de la 
población afectada previamente identificadas. 


Para saber si la intervención se ha ejecutado de la manera más eficiente posible, 
se debe comparar con otras alternativas (por ejemplo, suministrar agua potable 
mediante la canalización en lugar de hacerlo a través de camiones cisterna, O 
suministrar la ayuda por tierra en lugar de por aire, o proporcionar raciones 
alimenticias culturalmente aceptables y, por tanto, probablemente más acordes 
a las necesidades de la población afectada). La eficiencia se articula con otros 
criterios, como el de la adecuación de la intervención alternativa seleccionada y 
la eficacia (véanse, a continuación, los dos ejemplos de buenas prácticas). 
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Cuestiones que hay que tener en cuenta 


Las prioridades políticas de los gobiernos y de las agencias pueden provocar que 
las intervenciones sean ineficientes. Por ejemplo, puede que el gobierno receptor 
de la ayuda no quiera canalizar el agua para suministrarla a los refugiados con el 
fin de impedir que se queden en su territorio; o puede que un donante quiera 
utilizar el avión como medio de transporte para hacer llegar la ayuda al país 
receptor porque este medio le dé mayor notoriedad ante los medios de 
comunicación. Los evaluadores deben, por tanto, tener en cuenta los factores 
políticos; estos factores suelen determinar que una intervención sea eficiente o no. 


¿Cuál es la procedencia de los insumos? Una parte de la evaluación de la 
eficiencia investiga si las mercancías o los insumos se adquirieron de la forma 
más eficiente posible con relación a su procedencia. Una pregunta clave es si los 
insumos fueron adquiridos localmente o se importaron. Por ejemplo, una 
evaluación de las intervenciones realizadas en Timor Oriental constata que los 
suministros procedían de Ginebra, en lugar de Darwin, lo que hubiera resultado 
más eficiente. Otra pregunta relacionada sería si se buscaron proveedores locales. 


Algunas cuestiones financieras que hay que tener en cuenta son: el coste total 
de la intervención desagregado por sector; los costes de los insumos, 
diferenciando si fueron adquiridos localmente o en el extranjero; los costes de 
transporte desglosados por sector y forma de transporte; los costes de 
personal, diferenciando el personal local del expatriado; y los costes 
administrativos, en forma de porcentaje sobre el coste total de la intervención. 
Puede que la evaluación de la eficiencia requiera la inclusión, en el equipo de 
evaluación, de una persona con experiencia económica o contable. 


La eficiencia se corresponde esencialmente con las columnas o filas de insumos y 
producto del enfoque del marco lógico. Ein algunos casos, la información financiera 
se incluye en los insumos, favoreciendo así la evaluación de la eficiencia.15 


Mensajes Clave 


" Dado que muchas intervenciones humanitarias suponen el suministro de 
grandes cantidades de insumos materiales, el análisis de la eficiencia es 
importante para asegurarse de que los recursos se han utilizado 
adecuadamente, y así mismo tiene el potencial de poner de manifiesto una 
utilización más efectiva de los recursos. 


15 Para más información, incluyendo recursos que se pueden descargar de la red, véase 
http://www.mango.org.uk/guide/section.aspx?ID=5. 
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= Como con los demás criterios del CAD, una pregunta clave es por qué la 
intervención alcanzó ese grado de eficiencia, por ejemplo, con respecto a la 
planificación, a los conocimientos logísticos del personal o a las políticas de 
compras. Con ello se asegurará un equilibrio entre lecciones aprendidas y 
rendición de cuentas. 


= Las prisas por responder a una crisis por razones políticas o de imagen y la 
inadecuada identificación subsiguiente de necesidades a menudo ha 
significado que se suministren los recursos de forma poco eficiente. El papel 
de los evaluadores consiste en sacar a la luz estas malas prácticas y resaltar 
cuáles son las buenas y cómo podrían reproducirse. 


Evaluación de la convocatoria para la solicitud de fondos realizada 
por DEC para las inundaciones en Mozambique 


Antecedentes 


La evaluación realizada por el DEC sobre su intervención en Mozambique tras 
las inundaciones del 2000 estudia con gran atención la respuesta humanitaria 
de las agencias del DEC para informar al público británico sobre cómo y dónde 
se emplearon sus fondos, e identificar buenas prácticas de cara a futuras 
operaciones de emergencia. El método utilizado en la evaluación incluye 
numerosas entrevistas, investigación sobre el contexto y visitas al terreno, y 
una detallada encuesta sobre los beneficiarios. 


Evaluación de la eficiencia 


El capítulo dedicado a la eficiencia contiene muchos de los elementos clave 
para su evaluación, entre los cuales se incluye un análisis de: 


= La utilización de recursos militares por parte de las agencias del DEC, 
evaluada en términos de ausencia de colaboración respecto a la utilización 
de helicópteros militares para identificar las necesidades; los elevados costes 
derivados de la utilización de las fuerzas militares occidentales para la ayuda 
humanitaria, en comparación con la utilización de medios comerciales; y los 
costes comparativos de la fuerza aérea británica, el ejército de EE. UU. y las 
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fuerzas armadas sudafricanas (el informe constata que las operaciones 
militares consumieron gran parte de los fondos disponibles, lo que limitó la 
financiación posterior de proyectos de las ONG). 


= Los efectos sobre la eficiencia de un mercado de servicios subdesarrollado; 
por ejemplo, aunque la subcontratación de empresas nacionales para las 
tareas de maquinaria pesada, como la reparación de carreteras, evitase 
realizar grandes inversiones de capital, se observó que las empresas 
subcontratadas por las agencias del DEC a menudo fracasaron por no poder 
cumplir con sus obligaciones en los plazos establecidos 


= La eficiencia de la respuesta alternativa seleccionada, esto es, intervenir 
directamente a través de programas operativos, trabajando con socios 
locales, o a través de una red internacional de miembros asociados. La 
evaluación comprobó que la composición del personal había sido un factor 
más determinante que la propia elección de la respuesta desde el punto de 
vista de la eficiencia (esta área podría haberse considerado bajo el criterio de 
adecuación). 


= Si para las agencias resultó ser más eficiente preparar su intervención con la 
capacidad existente localmente en el país o mediante personal extranjero. 


= Si las agencias que tenían socios locales fueron más eficientes que aquellas 
que no los tenían. 


= De qué modo la inversión previa, en preparación para respuesta ante 
desastres, contribuyó a una respuesta más eficiente. 


" La eficiencia de los sistemas contables. 


Se intentó comparar el coste de los insumos utilizados por diversas agencias, 
por ejemplo, el de los kits de emergencia, pero resultó imposible a causa de la 
diversidad de los artículos suministrados y de los canales de transporte 
utilizados. En su lugar, la evaluación se basó en las implicaciones relativas al 
coste de las prácticas generalmente utilizadas, como, por ejemplo los costes 
de almacenamiento y de transporte. 


Además, la evaluación incluye un desglose del gasto de los fondos por sector; 
y para cada agencia del DEC, se desglosó por suministros y materiales, 
personal contratado y no contratado, y costes de gestión. 


Fuente: DEC (2001) Independent Evaluation of DEC Mozambique Floods Appeal Funds: March 
2000 — December 2000. London: DEC. 
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Evaluación del proyecto de leña en Dadaab, Kenia, realizada por 
ACNUR 


Antecedentes 


Se trata de una evaluación exhaustiva y muy meditada de un programa de 
ACNUR que se inició en 1997, principalmente como respuesta a las violaciones 
y la violencia sufridas por mujeres y niñas, y subsidiariamente para rehabilitar 
el medioambiente y reducir los conflictos entre los refugiados y las 
comunidades locales por la obtención de recursos. Como en muchas otras 
situaciones referentes a refugiados, la población somalí refugiada en los 
campamentos gestionados por ACNUR se encuentra sujeta a un desarraigo 
prolongado, que ya duraba una década cuando la evaluación se llevó a cabo. 
De forma excepcional, esta evaluación analiza en profundidad cuestiones 
institucionales, socioeconómicas y medioambientales, relacionando estas tres 
áreas entre sí. El método utilizado incluye estudio de documentos, entrevistas 
con personal clave y entrevistas a los beneficiarios. La discusión sobre la 
eficiencia se relaciona con la eficacia y el impacto de la intervención en 
relación a los cambios resultantes en el entorno local. 


Evaluación de la eficiencia 


La evaluación incluye una larga discusión sobre los costes del programa de 
leña con relación a otros usos alternativos de los fondos disponibles (pp. 99- 
110). En primer lugar, la evaluación describe cómo se vio dificultada por falta 
de datos financieros precisos: «Al equipo consultor le ha sido muy difícil 
establecer los costes reales del suministro de leña y, por ende, calcular los 
costes por persona, los costes mensuales o los costes por tonelada de leña 
suministrada» (p. 100). Es importante que las evaluaciones dejen claro las 
dificultadas con las que se han encontrado. La evaluación pasa luego a 
analizar áreas clave desde el punto de vista de la eficiencia: 


= El coste del proyecto de leña comparado con el de la recogida de leña por los 
propios refugiados y el de los sistemas comerciales de suministro existentes. 


= El coste del suministro de leña con relación a otros gastos en concepto de 
ayuda a los refugiados de Dadaab. 
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= Los costes de suministro de leña en comparación con otras alternativas para 
la reducción de la violencia de género, por ejemplo, aumento del número de 
patrullas policiales dentro y alrededor de los campamentos, una mejor 
formación y sensibilización de la policía, mejora del vallado de los 
campamentos, identificación de las zonas propensas a la delincuencia y 
mejora del alumbrado (se estudia detalladamente cada una de estas 
opciones y sus respectivos costes). 


= Formas alternativas de reducir las salidas para recoger leña, por ejemplo, 
mejora de los hornos, de las cocinas comunitarias y de la gestión del fuego. 


Como resultado de este análisis, la evaluación recomienda alternativas más 
eficientes, igualmente capaces de reducir el número de violaciones, la 
violencia sexual y la de género. 


Fuente: UNHCR (2001) Evaluation of the Dadaab Firewood Project, Kenya. Geneva: UNHCR. 


3.6 Eficacia 


Definición 


La eficacia mide el grado en que una actividad consigue su objetivo, O si 
puede esperarse que lo consiga a la vista de los resultados esperados. La 
adecuación temporal es un criterio implícito al de eficacia. 


Explicación de la definición 


Para evaluar la eficacia es necesario analizar en qué medida se han alcanzado 
los objetivos que la intervención se había propuesto. Un objetivo podría ser 
formulado como: «Devolver el estado nutricional de 50.000 mujeres y hombres 
de un campo de refugiados a niveles internacionalmente aceptables en el 
plazo de dos meses, prestando especial atención a las mujeres adolescentes y 
personas discapacitadas». 


En este caso, evaluar la eficacia de la acción implica: 


= Analizar las principales razones por las cuales la intervención ha alcanzado o 
no determinados objetivos, incluyendo el proceso que lleva al cambio; por 
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ejemplo, distribuyendo alimentos a través de los líderes comunitarios y/o las 
mujeres, estableciendo comités de distribución de alimentos con igual 
número de hombres y mujeres, o mediante el despliegue y apoyo de personal 
de agencia efectivo. 


= Precisar los cambios de los niveles nutricionales de la población destinataria 
en el plazo establecido, utilizando información desagregada por sexos 
cuando sea posible. 


= Verificar que el cambio de los niveles nutricionales es un resultado directo 
de la intervención evaluada. Preferentemente, esta verificación debería 
incluir entrevistas con personas no beneficiarias, aunque ello sea una 
práctica poco usual en las EAH. Como mínimo, se deberían aportar 
argumentos plausibles que apoyasen esta relación de causalidad. 


En el enfoque del marco lógico, la eficacia se evalúa viendo cómo el producto 
contribuye a la consecución de los resultados esperados. Por lo tanto, la 
evaluación de la eficacia está relacionada con el impacto y los efectos de la 
intervención a largo plazo. 


Cuestiones que hay que tener en cuenta 


Uso y beneficio de los recursos. Las evaluaciones deberían ir más allá de la mera 
evaluación de actividades y empezar a analizar quién utiliza y se beneficia de los 
recursos suministrados, recabando información desagregada por sexo, grupo 
socioeconómico o étnico siempre que sea posible. Puede que sea difícil de evaluar 
en operaciones todavía en curso, o cuando los datos de base o de seguimiento 
estén incompletos. Sin embargo, incluso en estos casos, las entrevistas a los 
principales interesados puede proporcionar información importante sobre quién 
ha utilizado y se ha beneficiado de los recursos suministrados. 


¿Por qué las intervenciones fueron o no eficaces? Saber si una intervención ha 
conseguido sus objetivos es tan sólo la mitad de la historia. La otra mitad 
consiste en saber por qué ocurrió. Para comprenderlo, examinar el listado de 
temas transversales puede ser una referencia útil; por ejemplo, preguntándose 
quién participó y por qué, y cuál fue la influencia del contexto local. 


Redacción de los resultados. Los resultados a menudo están mal redactados y 
son difícilmente mensurables. Con frecuencia, los objetivos se redactan como 
si de actividades o insumos se tratase, más que de resultados. Por ejemplo, se 
cita el número de casas por construir o la cantidad de alimentos por distribuir, 
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en lugar de relatar el efecto que tiene la construcción de casas o la 
distribución de alimentos. Los evaluadores deberían resaltarlo si es el caso. El 
papel del evaluador es intentar evaluar la intervención en función de los 
objetivos formulados, de los estándares marcados por las agencias o 
gobiernos, y no de las actividades. La evaluación de los objetivos debería 
implicar, en parte, un análisis del proceso mediante el cual se formularon los 
objetivos, incluido quién participó en dicha formulación y por qué. En 
particular, los evaluadores deberían preguntarse si las principales personas 
interesadas participaron en el diseño de la intervención y cómo. 


Adecuación en el tiempo. Un elemento clave en la evaluación de la eficacia es 
la adecuación temporal. El éxito de una intervención depende muchas veces 
de cómo se haya programado en el tiempo, y por tanto las evaluaciones 
deberían preguntarse si las intervenciones se llevaron a cabo prestando un 
apoyo adecuado a las poblaciones afectadas durante todas las fases de la 
crisis. ¿Se consiguió que el apoyo, las mercancías y los servicios llegaran a 
tiempo, desde la perspectiva de los principales interesados? El ejemplo de 
buenas prácticas del DFID/PMA que se presenta más adelante proporciona 
información sobre la programación general de una intervención y sobre la 
planificación del calendario de distribuciones alimentarias en particular. 


Mensajes clave 


= La eficacia mide los objetivos formulados en los documentos de planificación 
de las agencias, los cuales pueden considerarse intermedios entre los 
resultados esperados y el producto. 


= Al analizar la eficacia, la evaluación debería intentar establecer por qué la 
intervención ha alcanzado o no sus objetivos, y las lecciones que puedan 
derivarse de ello de cara a futuras intervenciones. 


= Para establecer si una intervención ha alcanzado sus objetivos es 
fundamental comprender y analizar las perspectivas de las partes 
interesadas al respecto y compararlas con la que puedan tener otros actores 
humanitarios, tales como el personal de las agencias. 
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Evaluación del DFID del apoyo al PMA en Bangladesh 


Antecedentes 


En septiembre del 2000, alrededor de 2,7 millones de personas se vieron 
gravemente afectadas por las inundaciones ocurridas en seis distritos al 
suroeste de Bangladesh. El DFID apoyó al PMA con el suministro de una 
ración completa de arroz, legumbres y aceite a un total de 260.000 
beneficiarios durante una primera distribución, y a 420.000 beneficiarios 
durante una segunda y una tercera distribución. La evaluación del DFID 
proporciona un análisis detallado sobre el grado de consecución de los 
objetivos del proyecto en relación a la distribución de la ayuda alimentaria. 
Hace especial referencia al tamaño de las raciones, la mezcla de productos y el 
calendario de las distribuciones, siendo este último un factor importante con 
respecto al criterio de adecuación temporal. 


Evaluación de la eficacia 


La evaluación utilizó métodos cuantitativos y cualitativos. La información 
cuantitativa se obtuvo a través de visitas a 2.644 casas, seleccionadas de 
forma aleatoria en seis pueblos representativos de la zona de intervención del 
proyecto. La información cualitativa se obtuvo durante las evaluaciones que se 
realizaron, teniendo en cuenta los medios de vida existentes en dichos 
pueblos. Los seleccionados eran representativos tanto de las diferentes 
modalidades de fuentes de ingresos como del estatus y de las perspectivas de 
las múltiples comunidades afectadas por las inundaciones. Se envió un 
segundo equipo de evaluación más pequeño, cinco semanas después de esta 
primera evaluación cualitativa, para conocer la percepción de las comunidades 
y su comportamiento en referencia a las raciones de alimentos recibidas. 
También se indagó sobre la adecuación temporal de las distribuciones, el 
grado de aceptación de los productos y las pautas de utilización. El análisis 
utilizó de forma combinada los datos cuantitativos y cualitativos. 


El informe contiene casi todos los elementos clave para la evaluación de la 
eficacia: 
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= Estudio de la evolución de los objetivos de la intervención, incluido un 
análisis del marco lógico. 


= Evaluación de los criterios utilizados para la selección de los beneficiarios, 
incluida la opinión de las principales partes interesadas sobre estos criterios 
(un área que también puede evaluarse bajo el criterio de cobertura); 


= Análisis de los mecanismos de ejecución, incluido el grado de participación 
de la comunidad. 


= Búsqueda de exactitud, mediante la desagregación por sexo y grupos socio- 
económicos (de nuevo, también podría evaluarse bajo el criterio de cobertura). 


= Análisis de los recursos suministrados —tanto el tamaño de la ración como la 
mezcla de productos- incluidas las razones por las cuales se suministraron (lo 
cual también podría ser analizado bajo el criterio de pertinencia/adecuación). 


= Adecuación del calendario de distribuciones. 
= La opinión de la población afectada sobre la intervención. 


Fuente: DFID (2001) Emergency Food Aid to Hood-Affected People in South-western 
Bangladesh: Evaluation report. London: DFID. 


Evaluación del PMA sobre la ayuda alimentaria y apoyo a la 
repatriación de refugiados iraquíes y afganos en Irán 


Antecedentes 


Cuando se realizó esta evaluación, el PMA llevaba trabajando en Irán 15 años, 
proporcionando asistencia alimentaria a los refugiados afganos desde 1987 y a 
los refugiados iraquíes desde 1988. La evaluación de la operación de ayuda 
prolongada y recuperación (PRRO) fue llevada a cabo durante cuatro semanas 
a comienzos del 2002, por dos consultores y dos miembros del PMA. El equipo 
de evaluación visitó 7 de los 29 campos de refugiados en los que, por aquel 
entonces, estaba trabajando el PMA. El objetivo principal era evaluar la 
eficiencia, pertinencia, eficacia, coherencia y sostenibilidad de la ayuda del 
PMA en el marco de la PRRO, para mejorar la ejecución de la operación 
entonces en curso y de cara a planificar la siguiente fase. 
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Evaluación de la eficacia 


El informe de evaluación comienza enumerando claramente las cuatro metas u 
objetivos establecidos para la asistencia alimenticia del PMA. A continuación, 
hace una valoración sobre su grado de cumplimiento. Por ejemplo, el primer 
objetivo es: «Garantizar las necesidades alimentarias básicas de los refugiados a 
fin de asegurar su supervivencia». Uno de los productos esperados era: 
«Distribución eficiente de una cesta de alimentación equilibrada equivalente a 
1.900 kilocalorías entre una población destinataria de 84.000 refugiados 
beneficiarios». La evaluación compara el porcentaje de la ayuda alimentaria 
suministrada con el total de los requisitos evaluados como necesarios para cada 
producto y a continuación analiza las variaciones que se dan entre los distintos 
campos. Pasa después a analizar las razones por las cuales hubo momentos de 
escasez, analizando incluso el entorno político y los procesos de planificación 


Fuente: WFP (2002) Full Report of the Evaluation of IRAN PRRO 6126 — “Food Assistance and 
Support for Repatriation of Iraqi and Afghan Refugees in Iran.' Rome: WFP. 


3.6.1 Coordinación!$ 


Sin ser un criterio «formal» del CAD, la evaluación de la acción humanitaria 
debe prestar especial atención a la coordinación, que si bien se extiende a 
través de varios criterios, aquí se incluye como un subconjunto del criterio de 
eficacia, ya que ambos conceptos están estrechamente relacionados. 


La coordinación puede definirse como: 


el uso sistemático de instrumentos de política de intervención para 
proporcionar asistencia humanitaria de forma cohesiva y efectiva. Dichos 
instrumentos incluyen la planificación estratégica, recopilación y gestión 
de datos, movilización de recursos y asegurar la rendición de cuentas, 
orquestando una división funcional del trabajo, negociando y 
manteniendo un marco funcional de cooperación y entendimiento con las 
autoridades políticas locales y ofreciendo liderazgo (Minear et al.,1992). 


Mientras que la coherencia se basa en que las políticas de intervención de los 
diferentes actores estén en consonancia entre ellas, la coordinación se centra más en 
los efectos prácticos de las acciones emprendidas por las agencias y los gobiemos; 
por ejemplo, si deberían participar en los grupos conjuntos de análisis, si deberían 
discutir la selección geográfica o hasta qué punto se debe compartir la información. 


15 Este apartado se basa en Reindorp y Wiles (2001) y Van Brabant (1999). Algunos de los 
evaluadores que participaron en las pruebas piloto de esta guía opinaban que la coordinación 
debería ser un criterio aparte. No hubo consenso al respecto. 
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Cuestiones que hay que considerar durante la evaluación de la coordinación: 
= ¿Existían planes de coordinación?, y en caso afirmativo, ¿se siguieron? 


= ¿Se incentivó la coordinación? Por ejemplo, ¿promovieron los donantes la 
coordinación de la ONU a través de acuerdos de financiación? O por el 
contrario, ¿hubo competencia para la obtención de fondos? 


= ¿Se escogió a una agencia para que ejerciera el liderazgo?, y en caso 
afirmativo, ¿cuál fue el resultado? 


= ¿Qué partes interesadas se incluyeron y cómo? ¿Por qué? 
= ¿Quién asumió el liderazgo y en qué medida fue efectivo? ¿Por qué? 


= ¿Se Canalizaron los fondos de forma coordinada, o los donantes los asignaron 
individualmente en función de sus propios objetivos estratégicos? 


= ¿Cuáles fueron los principales obstáculos y apoyos a la coordinación? ¿Cómo se 
consiguió una buena coordinación? ¿Podría reproducirse en otras situaciones? 


= ¿Mejoraron la eficacia y el impacto de la intervención gracias a la coordinación? 
Por ejemplo, ¿se amplió el espacio humanitario? ¿Cómo se consiguió? 


Tres cuestiones básicas que hay que considerar referentes a la coordinación: 


1 La multiplicidad de actores. La evaluación de la coordinación se hace difícil por la 
multiplicidad de actores y la existencia de distintas vías de coordinación posibles 
entre ellos (por ejemplo, entre donantes, entre donantes y ONG, entre donantes y 
el sistema de la ONU). Pero según se desprende de numerosas evaluaciones, la 
coordinación, aun siendo un área problemática, puede proporcionar grandes 
beneficios si se mejora (ALNAP, 2002), y por tanto debería incluirse, en la medida 
de lo posible, en las evaluaciones y en los ejercicios sobre lecciones aprendidas. 


2 El papel de los gobiernos de países receptores de ayuda y de otras 
instituciones locales. Por ejemplo, habrá que preguntarse si los objetivos y 
las actividades realizadas en un país determinado son acordes con las 
prioridades de su gobierno. A menudo no se tiene en cuenta a los gobiernos 
receptores, y en consecuencia no se desarrollan las capacidades locales. Sin 
embargo, hay muchos gobiernos que cuentan con organismos encargados 
de coordinar la acción humanitaria (Van Brabant, 1999). 


3 Socios no tradicionales. Otra cuestión que hay tener en cuenta es cómo se 
coordina la acción con los socios no tradicionales, como los militares. Es 
importante recabar la opinión de las partes interesadas con respecto a este 
tipo de coordinación. 
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3.7 Impacto 


Definición 


El impacto analiza los efectos del proyecto a mayor escala —efectos sociales, 
económicos, técnicos, medioambientales- sobre los individuos, los grupos de 
edad o de género, las comunidades y las instituciones. Los impactos pueden 
ser intencionados o no, positivos o negativos, macro (sectoriales) y micro 
(domésticos). 


Explicación de la definición 


Mientras que la evaluación de la eficacia analiza si se han cumplido los 
objetivos intermedios de una intervención y si han contribuido a alcanzar los 
resultados, la evaluación del impacto normalmente analiza las consecuencias a 
largo plazo del logro o no de esos objetivos y si ha dado lugar a un cambio 
socioeconómico importante. Por ejemplo, la eficacia analiza si los niveles 
nutricionales mejoraron, mientras que el impacto analiza lo que ocurrió como 
consecuencia de la mejora o no de estos niveles, por ejemplo, si los 
beneficiarios pudieron volver a trabajar. Entendido de este modo, el impacto a 
menudo va más allá de los documentos de planificación y estudia el papel 
desempeñado por la intervención en el marco socioeconómico y político más 
amplio, tal y como se desprende del ejemplo de buenas prácticas de Ruanda 
que veremos más adelante. 


Debido a su enfoque a más largo plazo, la evaluación del impacto y la de la 
conectividad están a menudo estrechamente relacionadas. 


Cuestiones que hay que tener en cuenta 


¿Es la evaluación del impacto pertinente en todos los casos? Debido a su mayor 
amplitud de enfoque, puede que la valoración del impacto no sea pertinente en 
todo tipo de evaluaciones, especialmente en el caso de aquellas que se llevan a 
cabo durante o inmediatamente después de la intervención. Pueden pasar 
muchos meses, e incluso años, antes de que los cambios socioeconómicos y 
políticos sean evidentes. Además, la valoración del impacto de una intervención 
puede necesitar tal nivel de recursos y de competencia especializada que, hasta 
la fecha, rara vez se ha podido realizar en una evaluación de acción humanitaria. 
Por lo tanto, la evaluación del impacto solo debería intentarse cuando se adopte 
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un enfoque longitudinal; cuando se pueda disponer de datos que permitan 
realizar un análisis a largo plazo; cuando el equipo de evaluación incluya 
especialistas en análisis socioeconómico y político, y cuando la agencia que la 
encarga esté dispuesta a invertir en una evaluación más exhaustiva. 


¿Cómo tratar la cuestión de la atribución? La cuestión de la atribución puede 
requerir una especial atención en la evaluación de cambios a largo plazo. 
Cuanto más nos alejamos del momento en que se llevó a cabo la intervención, 
más difícil resultará saber si los cambios que se han producido son atribuibles 
a la intervención o a otro factor, como otras intervenciones, u otras fuerzas 
socioeconómicas o políticas. Para una mejor gestión, se puede entrevistar a 
grupos «informales» de control pertenecientes a las poblaciones afectadas que 
no han recibido asistencia, ya que la creación de grupos de control formal 
mediante un diseño casi experimental suele ser inviable en la EAH. 


Formulación de los resultados y el EML. El impacto puede considerarse como una 
medida de mayor alcance y, por tanto, se relaciona con las columnas del enfoque 
del marco lógico correspondientes al objetivo general de la intervención y a la de 
resultados. La formulación de los objetivos en el EML suele ser imprecisa y suele 
contener pocos indicadores cuantitativos. Puede que los evaluadores tengan 
incluso que basarse en la política operacional de la agencia para determinar de 
qué forma encaja la intervención en los objetivos de la agencia a largo plazo. 


Las evaluaciones de impacto deben cubrir temas transversales como el 
desarrollo de los medios de vida, la defensa de los derechos humanos o la 
igualdad de género. La evaluación de impacto se ajusta bien para tratar estos 
temas ya que suelen requerir un análisis de los procesos socioeconómicos más 
amplios y a largo plazo. 


Mensajes clave 


= Un elemento clave de la evaluación del impacto consiste en argumentar el 
porqué han sucedido los acontecimientos, esto es, ¿Cuáles fueron los 
procesos que condujeron a determinados resultados? 


= La valoración del impacto puede ser el mayor reto a la hora de realizar una 
evaluación: el evaluador debe determinar el plazo de tiempo a considerar, y 
asegurarse de que exista una hipótesis plausible que justifique que la 
intervención haya contribuido al impacto logrado. Cuando se incluye el impacto 
en los términos de referencia de una evaluación, los responsables de la evaluación 
deben considerar si el equipo evaluador tiene la competencia necesaria así como 
suficientes recursos para poder evaluar el impacto adecuadamente. 
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Evaluación Conjunta de la Ayuda de Emergencia a Ruanda 


Antecedentes 


La Evaluación Conjunta de la Ayuda de Emergencia a Ruanda (más conocida 
por sus siglas inglés JEEAR) es la evaluación más extensa y exhaustiva de una 
acción humanitaria realizada hasta la fecha, con la participación de 52 
consultores e investigadores. También establece normas para la evaluación 
conjunta sobre el impacto de la acción política y de su ausencia en 
emergencias complejas. 


La JEHAR evalúa el impacto de la comunidad internacional, principalmente en 
términos de ausencia de intervención en Ruanda, a pesar de la existencia de 
indicios claros de que determinadas fuerzas en Ruanda estaban preparando el 
clima y las estructuras para el genocidio y los asesinatos políticos. Dicha 
evaluación utiliza una definición de acción humanitaria que incluye tanto 
funciones políticas como socioeconómicas; esto lleva necesariamente a un 
análisis de las estructuras políticas que, en gran medida, determinan la 
respuesta humanitaria y su impacto. 


Evaluación del impacto 


En el caso de Ruanda, el análisis de la ausencia de intervención se divide en 
dos partes: (1) un análisis de los factores históricos que explican el genocidio; 
y (2) una descripción detallada de los acontecimientos inmediatos que 
condujeron al genocidio. 


El valor de esta evaluación conjunta reside en que permitió una evaluación 
que, en lugar de limitarse a valorar las intervenciones en un solo sector, analiza 
también la política económica. El enfoque político económico se relaciona 
posteriormente con la evaluación de la eficacia de la respuesta humanitaria. 


Este enfoque se puede contrastar con el adoptado para la evaluación de otras 
crisis: el conflicto de Kosovo y sus consecuencias, los efectos del huracán 
Mitch, y las intervenciones en Afganistán. En cada caso, se decidió llevar a 
cabo las evaluaciones de las agencias y de los sectores individuales, 
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soslayando en gran medida la naturaleza política de dichos acontecimientos y 
de la respuesta que se dio. En el caso de Kosovo y de Afganistán, esto llevó a 
que los evaluadores no prestaran atención a cuestiones relativas a la 
protección y a los derechos humanos (ALNAP, 2004, 2001). En el caso de 
Centroamérica, llevó a obviar hasta qué punto la acción humanitaria amparó la 
agenda trasformista propuesta en la Declaración de Estocolmo (ALNAP, 2002). 


La evaluación del impacto realizada por la JEHAR es inusual, en el sentido de 
que pone mucho énfasis en por qué hubo poco interés en intervenir en 
Ruanda -—principalmente por su escasa relevancia geopolítica—, en lugar de 
limitarse a enumerar los acontecimientos a medida que se fueron 
desarrollando y a describir sus consecuencias. Una de las lecciones para los 
evaluadores de la JEEAR es que las evaluaciones del impacto deben centrarse 
no solo en qué intervenciones hubo, sino también en qué podría haber 
ocurrido en otras circunstancias y con otros tipos de intervención. 


Fuente: JEEAR (1996): The International Response to Conflict and Genocide: Lessons from the 
Rwanda Experience. 5 volumes. Copenhagen: Steering Committee of JEEAR. 





Evaluación de ECHO sobre salud, nutrición, agua y saneamiento en 
Sierra Leona 


Antecedentes 


Esta evaluación sectorial fue parte de la evaluación general del Plan Global de 
ECHO en Sierra Leona en el 2000 y el 2001. La evaluación general corrió a 
cargo de un equipo de tres consultores, que escribieron respectivamente el 
informe de salud, de nutrición y de saneamiento. El objetivo de la evaluación 
era, por un lado, valorar la idoneidad de las operaciones de ECHO y, por otro, 
hacer recomendaciones para futuros programas sobre la base de las lecciones 
aprendidas. Los principios del CAD sometidos a evaluación fueron: 
pertinencia, eficiencia, eficacia, impacto y sostenibilidad. La evaluación se 
basó en una metodología estándar que incluía: revisión de la documentación, 
entrevistas con el personal clave de la agencia y visitas a 11 proyectos. Se 
señalaron las siguientes limitaciones en la evaluación: ausencia de datos de 
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población fiables, dificultad para confeccionar tanto la parte narrativa del 
informe como la de los datos iniciales, debido a la elevada rotación del 
personal de la agencia humanitaria, y la debilidad inherente del seguimiento 
del proyecto y de sus informes, lo que creó dificultades en la evaluación de 
datos cuantitativos. 


Evaluación del impacto 


La evaluación de la intervención de ECHO está basada en un buen análisis del 
contexto político, social y económico, así como de los sectores cubiertos. 
También reconoce el reto que supone medir el impacto en el contexto 
humanitario. A pesar de ello, la evaluación utiliza los datos disponibles para 
analizar la frecuencia de la desnutrición y las consecuencias de la 
inmunización. Partiendo del análisis de estas estadísticas básicas, pasa a 
considerar el amplio impacto de la intervención de ECHO en el sistema de 
salud y los servicios públicos. Demuestra cómo, a pesar de la brevedad en el 
tiempo de la acción humanitaria y de la falta de datos, es posible analizar el 
impacto. 


Además de analizar los indicadores de calidad de vida, la evaluación vincula el 
análisis del contexto a algunos de los impactos a largo plazo del trabajo 
financiado por ECHO. Señala que los proyectos de ECHO han mitigado los 
efectos del conflicto, al financiar operaciones de naturaleza estabilizadora, y 
han mejorado la capacidad de las comunidades locales para integrar a los 
desplazados internos y a los retomados. También analiza las posibles 
consecuencias no intencionadas, como son: 


= El efecto sobre el presupuesto del gobierno, ya que cuando deje de haber 
apoyo financiero, se abandonarán aquellos servicios del ministerio de Salud 
que tengan gastos a largo plazo, porque no se los podrá permitir. 


= El suministro de ayuda en las zonas rebeldes ha supuesto tener que negociar 
con sus líderes, confiriéndoles de este modo una cierta legitimidad que 
podría reforzar las estructuras de poder existentes. 


= Se está creando un síndrome de dependencia. Mientras que las ONG 
dominan la dirección de la asistencia sanitaria, sus contrapartes 
gubernamentales en los distritos tienen una implicación limitada en el 
establecimiento de las prioridades y en la planificación. 


También se analizan detalladamente las razones por las que se ha alcanzado 
cierto impacto; por ejemplo, en la evaluación se observa que: 
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La experiencia en otros lugares del mundo demuestra que un enfoque 
integral puede influir en el estado de salud de una comunidad y ser más 
efectivo que a través de la mera construcción de una infraestructura. 
Durante el año pasado, los proyectos financiados por ECHO han ido más 
allá de la construcción de pozos, letrinas o instalación de infraestructuras. 
Han adoptado una combinación de enfoques que incluye la promoción de 
la higiene, la eliminación adecuada de residuos, el lavado de las manos y 
la correcta conservación del agua potable. (p. 14) 


El informe también señala la importancia de la implicación de la comunidad en 
la consecución del impacto. 


Fuente: ECHO (2001) Sierra Leone ECHO Global Plan 2000 / Intervention Plan 2001. Health, 
Nutrition, Water and Sanitation — 2001. Brussels: ECHO. 
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4 Métodos para la evaluación de la acción 
humanitaria: recomendaciones para buenas 
prácticas 


La EAH difiere, en algunos aspectos, de la evaluación general y de la 
evaluación de proyectos de desarrollo, pero mantiene en común con este tipo 
de evaluaciones la necesidad de ser lo más rigurosa y creíble posible. A 
continuación se describen algunas indicaciones para buenas prácticas en el 
desarrollo de una metodología aplicable por la EAH. 


Existe un gran número de buenas fuentes de información relativas al uso de 
métodos para la HAH. El ALNAP Training Module (segunda parte) 
proporciona un marco general. El ALNAP Proforma es una lista de verificación 
de buenas prácticas tanto para el desarrollo de métodos coma para la EAH en 
general; esta lista puede consultarse en el Annual Review de ALNAP. Tanto el 
módulo formativo como la Proforma están disponibles en 
http://www.alnap.org. Wood, Apthorpe y Borton (2001) y Hallam (1998) 
también constituyen una referencia útil. 


Asegurarse de que el método que se va a utilizar se describe adecuadamente 
en los términos de referencia, y que el método utilizado en realidad se describe 
adecuadamente en el informe de evaluación. Con frecuencia, las evaluaciones 
dedican unas cuantas líneas o un corto párrafo para describir el método 
utilizado, minando así la credibilidad de los informes. Si los resultados de una 
evaluación no son del agrado de los lectores, ¡sin duda lo primero que se 
cuestionarán será el método! Las evaluaciones deberían establecer, en 
particular, las razones por las cuales se seleccionaron ciertas áreas geográficas 
y se visitaron determinados proyectos; quiénes fueron entrevistados, por qué y 
en qué contexto; y qué dificultades se encontraron. 
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Utilizar un enfoque basado en múltiples métodos, y contrastar cruzando la 
información cuando sea posible. Ein las evaluaciones de desarrollo esto 
supone, en la mayoría de los casos, tener que combinar cuestionarios 
estructurados o semiestructurados (cuyos resultados son a menudo analizados 
estadísticamente), con otros métodos más participativos (como por ejemplo la 
evaluación rural participativa). En la EAH suele haber poco margen de acción 
para seleccionar muestras y realizar análisis estadísticos. En su lugar, la 
información obtenida a partir de los informes de los gobiernos o de las 
agencias, como el número y el tipo de beneficiarios principales, puede 
contrastarse mediante la realización de entrevistas al personal de las agencias 
y alos principales beneficiarios. 


Evaluar la intervención tomando como referencia las normas y las leyes 
internacionales apropiadas. Normas como las convenciones de la ONU, el 
Código de Conducta de la Cruz Roja y la Media Luna Roja y las ONG, y las 
normas de Esfera deberían utilizarse habitualmente como parte de la 
metodología de la evaluación. 


Hablar con los principales beneficiarios. Hay dos razones esenciales para 
hacerlo. En primer lugar, es un requisito ético; los evaluadores deberían hacer 
todo lo posible para hablar con los principales beneficiarios a fin de garantizar 
que sus intereses estén adecuadamente representados en la evaluación. De 
este modo se garantiza también la rendición de cuentas por parte de los 
evaluadores a los principales beneficiarios. En segundo lugar, la EAH debería 
ser lo más exhaustiva posible, puesto que si el punto de vista del principal 
grupo de beneficiarios a quien va dirigida la acción humanitaria no estuviese 
debidamente representado, la credibilidad de la evaluación quedaría en 
entredicho. Las evaluaciones tienen que ser lo más representativas posible; 
por eso el evaluador debería esforzarse en hablar con beneficiarios de ambos 
sexos, pertenecientes a distintos grupos socioeconómicos y étnicos, así como 
con niñas y niños. Los evaluadores deberían ser sensibles a cualquier 
experiencia pasada de los beneficiarios principales; mientras algunos puede 
que estén deseosos de hablar con los evaluadores, puede que otros no quieran 
revivir sus experiencias pasadas para una simple evaluación. Como cualquier 
otra fuente de información, la opinión de los principales beneficiarios debería 
contrastarse por otras vías. 


Desagregar. Las evaluaciones se ven reforzadas cuanto más desagregados 
estén los datos por sexo, grupo socioeconómico y etnia. Puede que no siempre 
sea posible obtener los datos desagregados a partir de los informes de los 
gobiernos o de las agencias. En tal caso, le corresponderá al equipo evaluador 
el complementar los datos disponibles. 
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Garantizar que se presta atención a los procesos sociales y la causalidad. La 
EAH tiende a centrarse en qué pasó, en lugar de centrarse en el por qué, lo 
que limita la posibilidad de extraer lecciones de la experiencia. Los 
evaluadores deberían incluir en sus cuestionarios preguntas como: «¿Cuáles 
fueron las razones por las cuales la intervención tuvo éxito o fracasó?», para 
así poder comprender mejor los procesos sociales y extraer lecciones. 


Dejar claros los posibles sesgos del evaluador. Todos los evaluadores llevan 
consigo sus prejuicios personales (por ejemplo, el deseo de empoderar a los 
beneficiarios es un tipo de prejuicio; creer que una evaluación es «objetiva» es 
otro). Si quedan claros estos sesgos, la evaluación será más creíble. La 
utilización de múltiples fuentes de información y sistemas de verificación 
puede ayudar a limitar los sesgos del evaluador. 


Y por último, pero no por ello menos importante, se deben integrar los criterios 
del CAD, o argumentar cuáles son las razones para no utilizarlos. 
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El Joint Committee on Standards for 
Educational Evaluation 


Para mejorar el rendimiento, la EAH se debe contextualizar en el marco más 
amplio de las buenas prácticas dentro del campo de la evaluación en general. 
En 1994, el Joint Committee on Standards for Educational Evaluation (JCSEE) 
desarrolló lo que, hoy por hoy, son las normas más completas para una buena 
evaluación: normas específicas para la evaluación de iniciativas educativas 
pero adaptables a la guía de la EAH (http: //www.wmich.edu/evalctr/jc). Dado 
que la aplicación de estas normas se ha generalizado entre la comunidad 
evaluadora, parece razonable utilizarlas aquí como guía para comprender las 
diversas formas de trabajar siguiendo los criterios del CAD.17 


Las cuestiones principales más relevantes para la EAH, relativas a las cuatro 
normas básicas de evaluación (utilidad, ética, viabilidad, exactitud),18 se 
resumen a continuación tras describir las normas más importantes. No se hace 
mención a todas las normas de evaluación; estas pueden consultarse en: 
http://www.eval.org/publications.aspotEDUCATIONAL%20EVALUATION% 
Z0STANDARDS. 











1 El CAD (OECD-DAC, 1991) también desarrolló un conjunto de principios para la evaluación de 
desarrollo, revisados posteriormente en 1998 (DAC, 1998), que en cierta medida coinciden con las 
normas que se analizan en esta sección. Para conocer un reciente debate sobre normas 
internacionales, véase New Directions for Evaluation, Winter 2004. Además de unas Normas de 
Evaluación, la American Evaluation Association ha desarrollado un conjunto de Principios de 
Evaluación, que pueden encontrarse en http: //www.eval org/Publications/GuidingPrinciples.asp. 
Todas estas publicaciones se han tenido en cuenta para el desarrollo de esta guía. 

*'Traducimos así los términos utility, propriety, feasibility y accuracy. Em otros manuales 
propriety se traduce como «corrección» o «legitimidad», mientras que accuracy se traslada como 
precisión. (N. del T.). 
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Utilidad 


Las normas de utilidad persiguen garantizar que toda evaluación responda a 
las necesidades de información de sus usuarios. 


= Identificación de los interesados. Habría que identificar a las personas 
implicadas o que puedan verse afectadas por la evaluación, a fin de poder 
responder a sus necesidades. 


= Identificación de valores. Deberían describirse claramente los puntos de 
vista, los procedimientos y los fundamentos utilizados a la hora de 
interpretar los resultados, para que se sepa claramente en qué se basan los 
juicios de valor emitidos. 


= Calendario de informes y difusión. Los resultados provisionales más 
importantes así como los informes de evaluación deberían divulgarse entre 
los usuarios a quienes concierne, a fin de que puedan utilizarlos en el 
momento adecuado. 


= Impacto de la evaluación. La planificación, la ejecución y los informes de la 
evaluación deberían hacerse de manera que estimulen su seguimiento por 
parte de los interesados; con ello se aumenta la probabilidad de utilización 
de las evaluaciones. 


Pertinencia con respecto a la EAH. Como cualquier otra evaluación, la EAH 
debe prestar especial atención a cómo se pretende utilizar. Los términos de 
referencia deberían establecer el modo en que la agencia que encarga la 
evaluación planifica utilizar los resultados. En los planes de trabajo de la 
evaluación deberían incluirse mecanismos para mantener sesiones periódicas 
de retroalimentación con los interesados. Los evaluadores deberían ser 
proactivos a la hora de promover la utilización de las evaluaciones, 
investigando a su vez cómo y por qué los resultados de evaluaciones 
anteriores han sido utilizados por las agencias que las encargaron. Se pueden 
utilizar también matrices de seguimiento de las recomendaciones. 
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Ético” 


Las normas éticas persiguen garantizar que la evaluación se lleve a cabo de 
forma legal, ética, y respetuosa respecto al bienestar de las personas 
implicadas en la evaluación, así como hacia las personas afectadas por los 
resultados. 


= Derechos de las personas. Las evaluaciones deberían diseñarse y realizarse 
de forma que se respeten y garanticen los derechos y el bienestar de las 
personas. 


= Trato humano. Los evaluadores deberían respetar la dignidad y los valores 
humanos al tratar con otras personas vinculadas a la evaluación, de forma 
que los participantes ni se sientan amenazados ni sufran daño alguno. 


= Evaluación completa y justa. La evaluación debería ser completa y justa 
tanto al examinar como al registrar las fortalezas y las debilidades del 
programa objeto de la evaluación, de forma que se pueda construir sobre los 
puntos fuertes y tratar las áreas problemáticas. 


= Pertinencia respecto a la EAH. Tanto en emergencias complejas como en 
desastres naturales, los evaluadores deberían asegurar la confidencialidad de 
los principales interesados que pudieran ser discriminados. Todos los 
encuestados deberían ser tratados con respeto, cualquiera que sea su 
ideología política, creencia religiosa o estatus social. Además de centrarse en 
las fortalezas y debilidades de un programa, práctica ya bastante extendida 
en la EHAH, se deberían analizar también posibles acciones para mejorar los 
resultados. 


Viabilidad 


Las normas de viabilidad persiguen garantizar que las evaluaciones sean 
realistas, prudentes, diplomáticas y moderadas. 


" Viabilidad política. La evaluación debería planificarse y realizarse 
anticipándose a las distintas posiciones ideológicas de los diversos grupos 





* El término utilizado en el original, propriety, se refiere a la conformidad respecto a las normas 
establecidas de buena conducta o maneras. (N. del T.). 
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de interés, para asegurar la colaboración de todos, y de este modo evitar O 
contrarrestar cualquier intento, por parte de dichos grupos, de entorpecer las 
operaciones de evaluación, de sesgar, omitir o utilizar erróneamente los 
resultados. 


Pertinencia respecto a la EHAH. Los evaluadores deben tratar de conocer cuáles 
son los grupos de interés en el seno de la agencia que encarga la evaluación y 
cuáles pueden ser sus intereses con respecto a la evaluación. Cualquier 
conclusión o recomendación controvertida deberá estar, en la medida de lo 
posible, claramente justificada. 


Exactitud 


Las normas de exactitud persiguen garantizar que una evaluación desvele y 
comunique información técnicamente adecuada sobre las características que 
confieren valor al programa que está siendo evaluado. 


= Documentación del programa. Debería describirse y documentarse 
claramente y con exactitud el programa evaluado, a fin de que pueda 
identificarse fácilmente. 


= Análisis del contexto. Debería analizarse detenidamente el contexto en el 
que se enmarca para poder determinar su posible influencia sobre el 
programa. 


= Descripción de objetivos y procedimientos. Se debería asegurar el 
seguimiento y la descripción detallada de los objetivos y procedimientos a 
fin de facilitar su identificación y evaluación. 


= Fuentes de información justificables. Las fuentes de información utilizadas 
en un programa de evaluación deberían describirse con suficiente detalle 
como para que se pueda evaluar la conveniencia de la información. 


= Información válida. Los procedimientos de recogida de información deben 
seleccionarse o desarrollarse y aplicarse posteriormente de forma que se 
garantice una interpretación válida para el uso que se pretende. 


= Información fiable. Los procedimientos de recogida de información deben 
seleccionarse o desarrollarse y aplicarse posteriormente de forma que se 
garantice que la información que se obtiene es fiable para el uso que se 
pretende. 
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= Conclusiones justificadas. Las conclusiones alcanzadas en una evaluación 
deben estar justificadas explícitamente, para que los beneficiarios puedan 
valorarlas. 


= Informe imparcial. El procedimiento de elaboración de los informes debe 
salvaguardar contra cualquier distorsión que pueda originarse por 
sentimientos personales o prejuicios de cualquiera de las partes implicadas 
en la evaluación, para que los informes presenten con imparcialidad los 
resultados obtenidos. 


Pertinencia respecto a la HAH. Hoy en día, la mayoría de las EAH no incluyen 
la información adecuada en lo que se refiere al apartado de exactitud. La EAH 
debería prestar mucha más atención a la descripción de los hechos en cuanto 
al contexto se refiere. De igual forma, deberían tener más en cuenta la 
descripción y justificación de los métodos empleados, las fuentes utilizadas y 
el análisis de la información recogida (ALNAP, 2002). 
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Lista de verificación de cuestiones que deben 
abordarse en la EAH 


se proporciona este listado como recurso para que los evaluadores puedan 
verificar que están cubriendo los elementos clave al utilizar los criterios del 
CAD. No se trata de un listado exhaustivo, pero incluye los temas principales 
de la EAH. Para sugerencias sobre cuándo pueden aplicarse los temas 
trasversales a los criterios del CAD, véase más atrás la Sección 3, bajo cada 
criterio individual. 


La influencia y comprensión del contexto local. Los resultados de toda 
intervención dependen, en mayor o menor medida, del contexto nacional y 
local, como, por ejemplo, la situación de seguridad, la disponibilidad de 
alimentos en el mercado local o la capacidad de las instituciones locales. Por 
lo tanto, al utilizar los criterios del CAD, los evaluadores deberían preguntarse 
en qué medida el contexto ha sido un factor determinante en cuanto a los 
resultados de un proyecto o programa en particular. 


Recursos humanos y administración. La evaluación de los recursos humanos, 
un factor clave del éxito o el fracaso de toda intervención, es una de las 
fortalezas de la EAH (ALNAP 2002). Los evaluadores deben prestar atención al 
nivel de experiencia y de conocimientos técnicos del personal que trabaja en 
el terreno, los procedimientos de selección, la rotación de personal, las 
relaciones y la comunicación entre la sede central y el terreno, el papel del 
personal local, la formación y las prácticas de aprendizaje. Para detalles sobre 
cómo aprenden los trabajadores sobre el terreno, véase la Review of 
Humanitarian Action 2003 de ALNAP 

(http: //www.alnap.org/publications/rha.htm). 
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Protección. En los últimos años, la protección humanitaria ha surgido como 
tema clave en la respuesta humanitaria. No obstante, la evaluación de la 
protección humanitaria continúa siendo limitada. La ALNAP define la 
protección humanitaria como «el reto de conseguir que estados e individuos 
asuman sus responsabilidades humanitarias en la protección de las personas 
durante la guerra, ocupando su lugar cuando ellos no pueden» (ALNAP, 2005, 
p. 21). Para más información, véase Protection-An ALNAP Guide for 
Humanitarian Agencies (2005) 

(http: //www.alnap.ora/publications/protection/index. htm). 


Participación de los beneficiarios. En todas las etapas de una intervención se 
debe consultar y hacer partícipes a los beneficiarios a fin de que la 
intervención sea más ética y efectiva. Sin embargo, ALNAP (2002) descubrió 
que los beneficiarios participaban principalmente en la ejecución, pero no 
tanto en la planificación y diseño de la intervención, o en la toma de 
decisiones. Esta es una cuestión clave de cara a la evaluación de la acción 
humanitaria; pueden encontrarse más detalles en el borrador del manual de 
ALNAP (en http://www.alnap.org/publications/protection/index.htm). Los 
evaluadores y los centros de evaluación deben rendir cuentas a los 
beneficiarios, tanto en términos de consulta como garantizando que los 
resultados de la evaluación sean utilizados a su favor en la medida de lo 
posible. 


Estrategias para hacer frente a las dificultades y resistencia. La capacidad de 
los beneficiarios para enfrentarse por sí mismos a situaciones de emergencia 
cada vez se entiende mejor, pero en la EAH todavía no se le presta suficiente 
atención. Los evaluadores deben estudiar en qué medida las intervenciones 
evaluadas han propiciado esas capacidades o si, por el contrario, las han 
limitado: por ejemplo, pueden haber provocado un cambio de hábitos 
alimenticios, la venta de activos, la ayuda mutua o la emigración. La 
evaluación de necesidades también debe tener en cuenta las estrategias de las 
poblaciones afectadas para ganarse la vida y para enfrentarse a situaciones 
difíciles. Para más información sobre estrategias para hacer frente a las 
dificultades y resistencia en relación a la acción humanitaria, véase Longley y 
Maxwell (2003), 
http://www.odi.org.uk/publications/working_papers/wp182.pdí. 
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Igualdad de género. Muchas agencias tienen políticas de igualdad de género 
que deben aplicarse durante sus intervenciones de respuesta a las 
emergencias. Los evaluadores deben evaluar hasta qué punto las 
intervenciones se ajustan a las políticas de igualdad de género y la 
promueven. A este respecto, la información contenida en el informe de 
evaluación debería estar desagregada por sexo, siempre y cuando sea posible. 
Para igualdad de género y acción humanitaria, véase la guía de la CIDA 2004 
(en http://www.acdi- 
cida.gc.ca/INET/IMAGES.NSF/vLUlmages/Africa/$tile/Guide-Gender.paf). 


VIH/SIDA. La propagación del VIH/SIDA se está convirtiendo en un tema de 
creciente importancia en la acción humanitaria. Las relaciones entre la 
inseguridad alimentaria y el VIH/SIDA deberían evaluarse en aquellos países o 
regiones en los que el VIH/SIDA está extendido. Para evaluaciones de 
intervenciones en VIH/SIDA, véase la bibliografía en 
http://data.unaids.org/publications/irc-pub06/jc1126-constrcoreindic- 
ungass_en.pdíf. 


El medio ambiente. Las evaluaciones deben analizar si las intervenciones han 
favorecido la sostenibilidad del medio ambiente o si por el contrario, la han 
perjudicado. 
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